我的老家庭是清朝后期的洋务派的官僚家庭。父亲是浙江人，在湖南做小官，可能是一个知府级的官。他官虽小，可是后台有人。不然不会到黑龙江穆河去当金矿局的总办。在总办任上，他被抓到俄国的圣彼得堡。后来很快就回到了长沙。
他培养他的大儿子的办法完全是传统的，走入学、乡试、会试、廷试的路。可是，大哥只走到举人这一阶段就打住了，死了。父亲要他自立，他就到外县去当家庭教师先生，不久死于住所。二哥呢，父亲把他送到上海圣约翰大学去读书。这是明显的转变。更突出的是，父亲把我的三哥送到黑龙江北岸的海兰泡，显然是要三哥去学些工程技术性的东西的。他是十足的洋务派。
四、五两个哥哥可能是我的母亲去安排他们的前途的。这我不清楚了。金岳霖的老家庭是清朝后期的洋务派的官僚家庭。他的父亲是浙江人，在湖南做官，后来到黑龙江穆河当金矿局的总办，任上被抓到俄国。后来又很快回到了长沙。
虽然我的母亲、舅舅、舅母都是湖南人，我可不能因此就成为湖南人。辛亥革命之后，以中山先生为首的政府很快就颁布了一部法律，内中有一条说在什么地方生长的就是什么地方的人。按照这个标准，我是湖南人是毫无问题的。
封建制度之下的兄弟不能成为朋友，六个年纪比我大的哥哥当然都不可能是我的朋友。这也就是说，年纪相差最小的哥哥——六哥也不能成为朋友。六哥比我只大几岁，淘气的时候也让我参加，在雅礼学校读书的时候也是同学。尽管如此，我们不是朋友。他比我大，管我。1913年，他在当时北京东城外的二闸淹死了。事实上，在这一年我已经是独立于封建家庭的人了。