高盛公司是由德国移民马库斯·高曼于1869年创立的。高盛公司成立于1869年，在19世纪90年代到第一次世界大战期间，投资银行业务开始形成，但与商业银行没有区分。高盛公司在此阶段最初从事商业票据交易，创业时只有一个办公人员和一个兼职记账员。创始人马可斯·戈德门每天沿街打折收购商人们的本票，然后在某个约定日期里由原出售本票的商人按票面金额支付现金，其中差额便是马可斯的收入。1882年，他的女婿萨缪尔·萨克斯加入了公司。1885年，马库斯·高曼把他的儿子亨利和Ludwig Dreyfuss带入了公司，并且把公司取名为高盛。公司成为了在此阶段最初从事商业票据交易的先锋，并于1896年加入了纽约证券交易所。
二十世纪初，股票包销包括首次公开募股业务使高盛成为真正的投资银行，公司1906年帮助Sear Roebuck公司发行了当时规模最大的首次公开募股。高盛还成为了当时最喜欢招聘名牌商学院MBA学位学生的公司之一，这一习惯一直延续到今天。
后来高盛增加贷款、外汇兑换及新兴的股票包销业务，规模虽小，却是已具雏形。而股票包销业务使高盛变成了真正的投资银行。
在1929年，高盛公司还是一个很保守的家族企业，当时公司领袖威迪奥·凯琴斯想把高盛公司由单一的票据业务发展成一个全面的投资银行。他做的第一步就是引入股票业务，成立了高盛股票交易公司，在他狂热的推动下，高盛以每日成立一家信托投资公司的速度，进入并迅速扩张类似今天互助基金的业务，股票发行量短期膨胀1亿美元。公司一度发展得非常快，股票由每股几美元，快速涨到100多美元，最后涨到了200多美元。但是好景不长，1929年的全球金融危机，华尔街股市大崩盘，使得股价一落千丈，跌到一块多钱，使公司损失了92%的原始投资，公司的声誉也在华尔街一落千丈，成为华尔街的笑柄、错误的代名词，公司濒临倒闭。这之后，继任者西德尼·文伯格一直保持着保守、稳健的经营作风，用了整整30年，使遭受“金融危机”惨败的高盛恢复了元气。60年代，增加大宗股票交易更是带来的新的增长。