王维的童年既是立志读书、奋发上进的时期，又是辗转流徙、生活不太安定的阶段。他和同时代的诗人李白、杜甫一样，都少有大志。想走向社会，干一番事业。
唐代宗李豫喜王维诗，安史乱平登基后，曾让王缙搜集整理兄王维的诗文进呈。《答王缙进王维集表诏》曰：“卿之伯氏，天下文宗。位历先朝，名高希代。抗行周《雅》，长揖《楚词》。调六气于终篇，正五音于逸韵。泉飞藻思，云散襟情，诗家者流，时论归美。诵于人口，久郁文房，歌以《国风》，宜登乐府。旰朝之后，乙夜将观。石室所藏，殁而不朽，柏梁之会，今也则亡。乃眷棣华，克成编录，声猷益茂，叹息良深。”
这样高而全面的评价，代表了盛唐朝野对王维诗的看法。盛唐前期，王维率先登上诗坛，且以“盛得江左风”，重六朝诗歌的艺术性；“弥工建安体”，重建安风骨，以艺术美与内容刚劲二者有机结合的诗学观，引领盛唐诗坛，成为当之无愧的“名高希代”的“天下文宗”。无怪杜甫称之为“高人”，云：“不见高人王右丞，蓝田丘壑漫寒藤。最传秀句寰区满，未绝风流相国能。”
王维早慧，幼年攻读经史子集及《昭明文选》诸作，八九岁就能作文绘画，赋诗弹琴。《新唐书·王维传》说他“九岁知属辞”。与弟缙年庚相若，幼年一同读书，青少年时期同游长安、洛阳。两兄弟文名皆高，有“名满京华”之誉，《唐朝名画录》说：“兄弟并以科名文学，冠绝当时，故时称：朝廷左相笔，天下右丞诗。”
王维信佛，故自字摩诘，因官尚书右丞，称王右丞。中年以后，人称“诗佛”或“仙宗十友”。他出生于一个世代为官的小官僚家庭，也是一个诗书礼乐陶冶的书香门第。据《新唐书·唐宰相世系表》，曾祖知节做过扬州司马，是河东王氏一支。祖冑，做过协律郎。父处廉，官终汾州司马。他近祖五代虽都做官，但大多是一些京外中小之职。值得注意的是，他的祖父王冑曾任协律郎，自然是精通音律、专长音乐的艺术家了。王维精通音乐当与乃祖有直接关系。可以看出王维之所以于诗、文、辞、赋、绘画、音乐无所不会，无所不精，与他幼年时受的教育分不开。对王维有精到研究的明人顾起经对他的为学作了全面评述：
玄、肃以下诗人，其数什佰，语盛唐者，唯高、王、岑、孟四家为最。语四家者，唯右丞公为最。其为诗也，上薄《骚》《雅》，下括汉魏，博综群籍，渔猎百氏。于史、子、《苍》《雅》、纬候、钤决、内学、外家之说，苞并总统，无所不窥。邮长于佛理，故其摛藻奇逸，措思冲旷，驰迈前榘，雄视名俊。凡今长老荐绅之属，工为诗者，恒嗟赏而雅崇之，殆与耳食无异。
王维世代为官的家庭从小就给王维种下了用世的思想；这个书香门第，不仅使他有了丰富的历史、社会知识，也培养了他的文学艺术情操。
王维有四个弟弟、一个妹妹。
大弟弟王缙生于久视元年（700），字夏卿，连应草泽及文辞清丽科举上第。官武部员外郎。安史叛乱，选为太原少尹，守太原，功效谋略众所推先，加宪部侍郎。入朝拜国子祭酒，历工部侍郎、左散骑常侍。殄平史朝义称旨，广德二年（764），拜黄门侍郎、同中书门下平章事。其年，以王缙为侍中持节都统河南、淮西、山南东道诸节度行营事。辞侍中，加东京留守。大历三年（768），幽州节度使李怀仙卒，兼太原尹、北都留守、河东节度营田观察使。大历五年（770），授门下侍郎、中书门下平章事。后迁太子宾客，分司东都。建中二年（781）卒，终年八十二岁。
二弟王，官江陵少尹。
三弟王纮，为兄缙管事。
四弟王，曾官祠部员外郎、司勋郎中、太常少卿，王维有《林园即事寄舍弟》诗：
寓目一萧散，消忧冀俄顷。青草肃澄陂，白云移翠岭。后沔通河渭，前山包鄢郢。松含风里声，花对池中影。地多齐后，人带荆州瘿。徒思赤笔书，讵有丹砂井。心悲常欲绝，发乱不能整。青簟日何长，闲门昼方静。颓思茅檐下，弥伤好风景。
岑参曾写过一首《和祠部王员外雪后早朝即事》诗，据李嘉言《岑诗系年》考定，诗题中的王员外即王。陈铁民、侯忠义《岑参集校注》考定，此诗作于代宗广德二年（764）以后、大历元年（766）以前，王任祠部员外郎时期。据《旧唐书·代宗纪》载，大历十二年（777）四月，王与杨炎等十余人坐依附元载案被贬官。所以，王任太常少卿应在坐罪前的一段时间。这次王贬官，疑与兄王缙同坐元载一案。从岑参诗结联写的“闻道仙郎歌《白雪》，由来此曲和人稀”，知王也能写诗，惜今不存。
从王维《偶然作》之三写的“小妹日成长”，和《山中寄诸弟妹》，确知王维还有一个妹妹。
王维的父亲处廉去世较早。王维对维系这个家庭、抚养弟妹们的寡母非常尊重，颇尽孝道，是个孝子。他对弟妹们非常爱护，关系也非常好。虽然家境窘迫，家风却好，弟弟妹妹都能奋发读书，有所进取，长大以后，在事业上都取得了成就。
王维的父氏王家、母氏崔家都是汉晋以来的名族世家。特别是初唐李氏掌权，把原来的王、卢、郑、崔的四姓五家，增加了陇西、赵郡二李，成为五姓七家。这五姓七家无论入仕、结亲、交友都居于特殊地位。《隋唐嘉话》：
高宗朝，以太原王，范阳卢，荥阳郑，清河、博陵二崔，陇西、赵郡二李等七姓，恃其族望，耻与他姓为婚，乃禁其自姻娶，于是不敢复行婚礼，密装饰其女以送夫家。
这虽只是说明五姓七家的通婚情况，也可见凡出自五姓七家者，不但争相为婚，得入士流，在交游中也是金字招牌。
在这五姓七家中王维占了王、崔两家。他世居河东太原祁州，属太原王氏世族。王氏从后汉王霸起就以名士惊动朝野，朝廷连聘他出来做官他不干。王昶，魏官至司空，乃京陵穆侯。王浑为晋朝录尚书事，京陵元侯。王承为镇东府从事中郎、蓝田县侯。王述为尚书令、蓝田简侯。王坦之为左卫将军、蓝田献侯。王琼为镇东将军。琼生四子：遵业、广业、延业、季和，号称“四房王氏”。按《新唐书·宰相世系表》里总述中说：“王氏定著三房：一曰琅邪王氏，二曰太原王氏，三曰京兆王氏。宰相十三人。琅邪有方庆、玙、搏、璿；太原有溥、缙、珪、涯、晙、播、铎；京兆有徽、德真”。这三房王氏中，太原王既是祖籍所在，所出权重名高的人也最多。按《新唐书·宰相世系表》崔氏定著十房，博陵占了三房。十房中共有宰相二十三人，博陵占九人。况博陵大房有沆，字内融，相僖宗；博陵二房有敦礼，字安上，相高宗；造，字玄宰，相德宗，皆失载，两唐书俱有传可证。
王维的母氏属博陵崔氏，其表弟崔兴宗，属博陵崔氏的第二房，陇州刺史崔礭的孙子，驸马都尉、博陵郡男崔恭礼的儿子。他自己曾做过右补阙、蜀州刺史、饶州长史。王维与崔兴宗的关系很好，写了很多交游往还的诗。从中可以看出崔的生活。早年的交往诗里表现了他们的壮志与用世态度。如他与王维、王缙、卢象、裴迪同咏的《青雀歌》。崔兴宗的诗“青扈绕青林，翩翾陋体一微禽。不应长在藩篱下，他日凌云谁见心”正表现了这种思想。王维的《送崔九兴宗游蜀》《送崔兴宗》则可以看出崔兴宗正是在出仕、壮怀的思想支配下出外宦游的。二人同咏的《敕赐百官樱桃》诗题下注王维任文部郎中，崔兴宗任右补阙，时天宝十一载（752）的四月一日。王维写的《崔九弟欲往南山马上口号与别》和崔兴宗写的《留别王维》分别是王维在长安城隅送内弟入南山归隐，崔兴宗酬答王维送行的，时间当晚于官“右补阙”时。王维的《秋夜独坐怀内弟崔兴宗》《崔兴宗写真咏》及《与卢员外象过崔处士兴宗林亭》，崔兴宗写的《酬王摩诘过林亭》当是反映老境的生活。如《崔兴宗写真咏》诗云：“画君年少时，如今君已老。今时新识人，知君旧时好。”这是王维题在崔兴宗年轻时画像上的一首小诗，这张画像可以说是记录了他们几十年的友谊。王维《与卢员外象过崔处士林亭》诗：“绿树重阴盖四邻，青苔日厚自无尘。科头箕踞长松下，白眼看君是甚人。”及卢象同咏：“映竹时闻转辘轳，当窗只见网蜘蛛。主人非病常高卧，环堵蒙笼一老儒。”王缙同咏中：“身名不问十年余，老大谁能更读书。”以及兴宗酬诗：“穷巷空林常闭关，悠然独卧对前山。今朝忽枉嵇生驾，倒屣开门遥解颜。”正合崔兴宗弃官归山十余年来的生活情趣。这些诗也都表明了王氏兄弟与崔兴宗几十年的关系密切。也可以看出王母崔氏在王家的地位与影响。
王维在《请施庄为寺表》中说“臣亡母故博陵县君崔氏”，可知崔氏当属于博陵安平一支。王维出自王、崔世族是荣耀体面的事。他十五岁后游两京，除了早慧，能诗文之外，恐怕与他出生于名族有密切关系，故王公贵人都愿与他结交。
王维究竟生于何年，这是为王维作传的重要问题，不确定他的生年，传便无从写起。但是，对王维的生年，其说不一：一说，王维生于长安元年（701）；二说王维生于如意元年（692）；三说生于圣历二年（699）。这些看法都存在着难以克服的矛盾（详见拙作《王维生年考辨》和《王维年谱》）。我认为王维生于久视元年，卒于上元二年（761）。王维晚年写了上肃宗《责躬荐弟表》，举荐王缙回京任官，获准以后又上了《谢弟缙新授左散骑常侍状》，此状后明书“上元二年五月四日，通议大夫守尚书右丞臣王维状进”，证明此时他仍在世。王缙在凤翔，距长安三百多里，肃宗《答诏》后，其往返于长安、凤翔间，时间不会太久，两兄弟未及见面，王维已卒，可见王维卒时距他上表的上元二年五月四日时间不会很长，所以《旧唐书·王维传》定为七月是近于实际的。以此上推到王缙出生的圣历三年（700），王维至少也享年六十二岁。王维的《哭祖六自虚》诗题下注云：“时年十八。”是王维十八岁时为祖自虚送葬时写的。自虚行第六，去世时为开元五年（717），按习惯向上推十七年，正是700年，与王维写此诗时“年十八”正合。
在王氏家族中，按小排行王维是老大，大排行王维是十三。除了同胞弟妹五人外，见诸王维诗文记载的，还有同族从弟王惟祥，曾做过海陵县令。王维写过一篇《送从弟惟祥宰海陵序》，为惟祥出任海陵县令送行。序云：
天子若曰：咨尔三事百辟，寇贼奸宄，震惊朕师，其举吏二千石至墨绶，予将大命于朝，以抚方夏。群从曰惟祥，旧有令闻，克衣成焉，往践乃职，无恫于人，狱货非宝，农食滋硕。浮于淮泗，浩然天波，海潮唾于乾坤，江城入于泱漭。彼有美锦，尔尝操刀，学古入官，倚法为吏，上官奏课，国将大选尔劳，勉哉行乎！唱予和汝。
海陵，属淮南道扬州广陵郡，一个寇盗恣凶的地方，很难治，王惟祥曾宰县，有治绩，故唐玄宗选拔他到海陵去。
从弟王，官司库员外郎，虽是王维的族弟，但和他关系很好。王聪慧有文才，是一个属清要、喜谈禅的人。王维曾写过一首《赠从弟司库员外》诗：
少年识事浅，强学干名利。徒闻跃马年，苦无出人智。即事岂徒言，累官非不试。既寡遂性欢，恐招负时累。清冬见远山，积雪凝苍翠。皓然出东林，发我遗世意。惠连素清赏，夙语尘外事。欲缓携手期，流年一何驶。
王维在这首诗里叹年华之逝，嗟仕途不得志，忆早年之识浅，怨处身之险恶，望出世之清隐。他的诗文中像这样与人坦率谈心者不多，可见二人是志同道合的。这首诗是研究王维生平思想重要材料，且有“清冬见远山，积雪凝苍翠”的述景名句。
王维有一首《和陈监四郎秋雨中思从弟据》诗，是写他晚年在一个烟雨的秋天思念在“轻槐落洞门”的山林独处的从弟王据的。正如诗中所写的：“袅袅秋风动，凄凄烟雨繁。……忽有愁霖唱，更陈多露言。平原思令弟，康乐谢贤昆。”诗借谢瞻答谢灵运诗，平原内使陆机思念其弟陆云，谢灵运、谢惠连兄弟才高契合等事表述了昆仲之间的亲密关系。
王维还有一位从弟叫王蕃，是个负气的侠义青年。
王维诗文中记崔氏的不少，是否都是他母舅崔氏一族，尚难确考，但很可能他们都是博陵、清河二崔中的成员。如《崔濮阳兄季重前山兴》里的崔季重，做过濮阳太守，属清河崔氏。王维既称其兄，按宗族年辈当与崔兴宗同辈。晚年居于蓝田山中，与王维别业相去不远。
关系比较明确的是王维《奉送六舅归陆浑》诗里的六舅。诗云：
伯舅吏淮泗，卓鲁方喟然。悠哉自不竞，退耕东皋田。条桑腊月下，种杏春风前。酌醴赋《归去》，共知陶令贤。
从诗的首句可知，这位六舅在淮泗一带当过小官吏。从诗的第二句引用后汉卓茂以儒术举为侍郎，给事黄门，迁洛州密县令，在县“劳心谆谆，视人如子，举善而教，口无恶言，吏人亲爱而不忍欺之”，和鲁恭待诏公车，拜中牟县令，“专以德化为理，不任刑罚”，使蝗虫不犯境，化及鸟兽，竖子有仁心的情况看，这位六舅可能在淮泗一带当过县令，且有政绩惠化。王维送其归陆浑，从“退耕”二句和董奉居庐山治病种杏，陶潜归隐庐山赋《归去来兮辞》两个典故分析，似是归陆浑闲居。
其他如《送崔五太守》里的崔五太守，《同崔傅答贤弟》里的崔傅，《同崔员外秋宵寓直》里的崔员外和《过崔驸马山池》里的崔驸马都与王维有交往。