正像所有的大河都有一条透亮纯净的源头，正像所有的大树都有一根发达的根系插入广阔的大地，林徽因这一口灵波涌动的活水也自有她的出处，也惟因为这点既流淌着童年的快乐同时也有忧愁的泉眼，才养育出了今天这样的一个林徽因。
林徽因，1904年6月10日出生于浙江杭州陆官巷林宅。原名徽音，出自《诗经·大雅·思齐》：“思齐大任，父王之母。思媚周姜，京室之妇。大拟嗣徽音，则百斯男。”后来，为了避免与当时的一位作家林微音相混，自1934年起改为林徽因。林徽因祖籍福建闽侯，出身书香门第，官宦之家。祖父林孝询，光绪15年（1889年）己丑科进士，曾留学日本，历任浙江海宁、金华、孝丰、仁和、石门各州知县，能接受西方政治思想，曾参加孙中山领导的革命运动，在同辈中堪称进步分子。林孝询曾在杭州设立家塾，分国学、新学两项，教育家里的孩子。国学延请林纾主讲，新学延请林自水主讲，在当地很有影响。祖母游氏，生有子女7人。
父亲林长民，1876年生于杭州，字宗孟，小的时候在家塾中读书。1906年赴日本留学，不久又回到杭州，在杭州外语学堂学习英文和日文，毕业后再度赴日，专门攻读政治和法律，32岁时毕业于早稻田大学。1910年，林长民与留日同学刘崇佑创立福州私立政法学校，自任校长。辛亥革命那年，林长民赴上海、南京、北京等地宣传革命。民国元年，代表福建省参加南京临时参议院。不久，临时参议院迁往北京，他被推为秘书长。民国6年，段祺瑞重新掌握政权后，林长民出任司法总长。此外，林长民擅诗文，工书法，在当时的文人圈子里名气很大。
林徽因两岁时，父亲林长民游学日本，尚是幼童的她便跟着祖父生活在杭州的大家庭里。相伴的是思想开明、满腹经纶的翰林祖父，和擅长书法、旧学修养颇深的才女姑姑。如此可爱的女儿，自然也成了父亲林长民的掌上明珠。
林徽因的天资聪慧从那时开始表露。5岁时，即1909年，林家迁居杭州蔡宫巷一座大宅院内，林徽因随祖父母、姑母们居住在这里。在众姐妹中，她是最聪明的一个，也是最清秀的一个，看似不经心地听讲，却总能过目不忘，出口成章；7岁时，承担起全家和在外父亲的通信事务，她是最让人放心的一个，信来信往，常常是言辞生动、应答得体；9岁时，开始教堂弟认字，并对家中的藏书、书画发生兴趣。她聪明伶俐、活泼可爱，深受家里人喜爱，尤其是祖父，常给她讲故事，带她做游戏。
8岁那年，祖父把家由杭州迁到上海，住在虹口区金益里。林徽因与表姐妹们到附近的爱国小学读书，上二年级，平时侍奉祖父。1916年，林徽因12岁，林长民在北洋政府任职。
全家遂由上海迁到北京，住在后王公厂。林徽因和表姐妹们一起入英国教会办的培华女子中学读书，开始接触西方文化，并学习英语。14岁时，她独自一人编成一本家藏字画目录。
年龄稍长，林徽因也越发清秀美丽，并且越来越懂事。她的聪明、有主见，颇能料理家务让父亲感到自豪而又欣慰，于是父亲也特别地对这位乖女儿多加体贴。而且遇到一些事情时还会与她商量，因而父女关系非常密切，就连三娘也承认，林徽因是父亲最喜欢、最疼爱的孩子。在林徽因面前，这个出入于各种社会政要人群的父亲从来都不是封建的家长。他以朋友式的热情欣赏着女儿天赋的才情与美丽，他常常感慨“做一个‘天才女儿’的父亲，不是容易享的福，你得放低你天伦的辈分先求做到友谊的了解”。这个“天才女儿”的出生和成长，背靠的是在封建社会积极接受西学的林氏家族。
然而，生活并非都是明媚的阳光，林徽因幼小的心灵过早地烙下了生活的阴影。林长民曾先后三次结婚。在杭州读书时，曾娶叶氏为妻，但她无生育。接着，他又娶了第二个妻子何雪媛，也就是林徽因的母亲。何雪媛是浙江嘉兴人，是小作坊主的女儿，没有文化，生有一子两女。儿子和二女儿早夭，只有大女儿林徽因活了下来。1912年，林长民又从福建娶了第三个妻子程桂林，她接连生了4个儿子和一个女儿。在有着传统的重男轻女观念的父亲那里，她自然赢得了林长民的欢心。他们一家几口被父亲安排到宽敞明亮的前院，而林徽因和母亲则被安排到相对窄小而又阴暗的后面小院子里。而且，父亲一直同三娘生活在一起，毫不掩饰自己的喜好，对林徽因的母亲不理不睬，使她实际上过着孤苦的分居生活。
梁从诫对此有过描述：“我的外祖父林长民（宗孟）出身仕宦之家，几个姊妹也都能诗文，善书法。外祖父曾留学日本，英文也很好，在当时也是一位新派人物。但是他同外祖母的婚姻都是家庭包办的一个不幸的结合。外祖母虽然容貌端正，却是一位没有受过教育的，不识字的旧式妇女，因为出自有钱的商人家庭，所以也不善女红和持家，因而既得不到丈夫、也得不到婆婆的欢心。婚后8年，才生下第一个孩子——一个美丽、聪颖的女儿。这个女儿虽然立即受到全家的珍爱，但外祖母的处境却并来回此改善。外祖父不久又娶了一房夫人，外祖母从此更受冷遇，实际上过着与丈夫分居的孤单的生活。母亲从小生活在这样的家庭矛盾之中，这常常使她感到困惑和悲伤。”
林徽因的母亲对三娘满怀嫉恨，时常明里暗里地争吵。面对自己母亲的尴尬地位和孤苦生活，敏感的林徽因深切地感受到生活的复杂和矛盾，以及由此而来的人生苦味。童年的境遇对林徽因后来的性格是有影响的。她一直都爱着她的父亲，她理解、同情母亲；她以长姊真挚的感情，爱着几个异母的弟妹。然而，那个半封建家庭中扭曲了的人际关系却在精神上深深地伤害过她，但她憎恨由于他们在一起所造成的争吵、苦恼。可能是由于这一切，她后来的一生中很少表现出三从四德式的温顺，却不断地在追求人格上的独立和自由。
少年时期的经历往往会刻骨铭心，对人的一生产生深远的影响。对林徽因来说，家庭的悲剧在她心灵造成的阴影深刻地影响了她对婚姻、人生的看法。1937年11月9日，林徽因给好朋友沈从文写了一封信，回忆父亲，以及和父亲在一起的伦敦生活：
“我独自坐在一间顶大的书房里看雨，那是英国不断的落雨……（我）一个人吃饭，一个人咬着手指头哭——闷到实在不能不哭！理想的我老希望着生活有点浪漫的发生，或是有个人叩下门走进来坐在我对面同我谈话，或是与我同坐在楼上炉边给我讲故事，最要紧的还是有个人要来爱我。我做着所有女孩做的梦，而实际上却是天天落雨又落雨，我从不认识一个男朋友，从没有一个浪漫聪明的人走来同我玩。”
信中的“我”是1920年的林徽因。多年以后她说：“年幼时的那些伤害，对我是永久性的，一旦勾起往事，就会让我跌进过去的不幸之中。”
1921年初夏，林徽因伴随父亲来到了欧洲。两个多月的海上行程，万吨客轮如一叶扁舟，行驶在浩瀚的印度洋上，仿佛永远也到不了岸，浪涛日夜不息地拍打着船舷，林徽因一直有一种眩晕的在梦中的感觉。按照出访计划，林长民带着林徽因游历了法国、意大利、瑞士、德国、比利时的一些城市。一处处文化名胜，一个个博物馆，还有工业革命后迅速发展起来的一家家工厂、报馆，林长民都带着女儿一一走过。16岁的林徽因原本对工厂、报馆这些地方没太大兴趣，但林长民却认为，恰恰是这些地方体现了现代资本主义的生产方式和经营方式，可以给中国社会今后的改良做参考，故“不可不观”。
回到伦敦之后，林徽因按照父亲的计划，考入伦敦圣玛利亚女子学院学习，父女俩的客居生活正式开始。由于有教会学校的英语基础，林徽因很快适应了英国的人文环境。而林长民则交游不断，忙碌于国联事务。他要出席“国际联盟协会”的会议，要与各国各地的有关人士晤面，他应邀去一些地方作演讲，还要接待许多慕名前来拜望他的当地留学生和华人社团的成员。当他忙于这些事情的时候，常常顾不上林徽因。林徽因成了父亲伦敦客厅的女主人，每天接待许多前来拜访父亲的中外人士。这种社交活动虽然让林徽因多了一个了解社会的窗口，也让她倍感孤单，直至徐志摩的出现。
林徽因的感受是复杂的。她敞开心灵摄取吸收来自这个新世界的印象和知识，纷至沓来的驳杂信息常常使她感到既新奇又疲倦。同时，远离故国，远离同龄伙伴的她又时常感到深深的孤独和无所适从。一个人的时候，她更多是偎在壁炉旁，一本接一本地阅读英文版的书刊。
此时，她才对北京培华女子中学严谨的学风心怀感激。来到英国后，她没有怎么费力就能够自如地与人交流和用英语阅读。
女房东是一位建筑师，林徽因常和她一道出去写生、作画。她最爱去的地方是剑桥一带，那里有画不完的各种建筑和景致。林徽因拿着一本书，随她坐在草坪上，四下望去，皇家教堂富丽庄严，皇家学院散发着宁静、幽雅的气息，“三一学院”图书楼上，拜伦雕像风神潇洒地凝视着遥远的天际。在与女房东的交谈中，林徽因知道了建筑师与盖房子的人的区别，懂得了建筑与艺术密不可分。以这样的眼光再去回想她在国内国外看过的庙宇和殿堂，果然就对这些建筑有了不同的理解和感受。
从这时起，林徽因萌生出了对未来事业的朦胧愿望。