希望八子。长子信，次子位，杜佑排行六。杜信在杜氏兄弟中应是较有文才的一人。由《全唐文》编者写的小传等材料我们可以看出，他门荫入仕后在官场政治上没有太大的作为，我们甚至不清楚他最初的官职是什么，只知道肃宗朝，他曾应书判拔萃制科及第，以后官至国子司业、太子宾客。从仅知的这两个官职看，他可能最初主要任职于朝廷的中央教育部门国子监，以后主管国子学，晚年为东宫陪员。但杜信在文史方面是有建树的，而且他的建树可能在文献材料收集方面有益于以后杜佑的《通典》撰着。检《新唐书·艺文志》可知，杜信学长于史，曾多年潜心于史籍的整理和着述，有着作多种行于世。仅见于着录者，就有《史略》３０卷，《东斋籍》２０卷，《闲居录》３０卷。其中的《东斋籍》一书值得一提。东斋当是唐东都藏书修书机构乾元殿东序和明福门外集贤书院的别称，相对于西京长安的藏书修书机构大明宫光顺门外集贤书院而言。杜信所着《东斋籍》，应该是记录东都藏书的书目着录类作品，可能就是其参加整理编修东都藏书的成果。《新唐书·艺文志》记载唐两京藏书修书事谓：“（玄宗命马怀素、褚无量整比图书）会幸东都，乃就乾元殿东序检校。……及还京师，迁书东宫丽正殿，置修书院于着作院。其后大明宫光顺门外、东都明福门外，皆创集贤书院，学士通籍出入。”又，《玉海》“唐乾元殿四部书”条引《集贤注记》云：“（开元）五年于东京乾元殿写四部书，无量充使检校。六年三月五日学士以下始入乾元殿。”又同书《唐吴竞书目》条谓：“（《新唐书》）志：《西斋书目》一卷，分五十七部，总一万四百有三卷。又：
《东斋史目》三卷，杜信《东斋籍》二十卷。”另从《唐会要》、《旧唐书·经籍志》、《新唐书·艺文志》和《玉海》的有关记载中，我们大致上还可以了解到，开元年间的书目整理工作，初期主要在东都进行，１２年以后，由于把三分之二的东都藏书运到了长安，与西京藏书合并，整理工作的主要地点也转到了长安。如《唐会要·经籍》谓：“（开元）二十四年，十月，车驾从东都还京，有敕百司从官，皆令减省集贤书籍，三分留一，贮在东都”。因此，所谓《西斋书目》、《东斋史目》，都应该是对合并后西京藏书的整理记录。《西斋书目》仅一卷，已着录万余卷书，《东斋籍》二十卷，可想而知见到和着录的书及书目会更多（按：《旧唐书·经籍志》谓前人书经开元整理着录者四部群书各类共计五万六千四百七十六卷；《新唐书·儒学传》序谓：
“（玄宗）置集贤院，部分典籍，乾元殿博汇群书，至六万卷，经籍大备，又称开元焉”）。由此可以看出，杜信能以２０卷的篇幅着录所见，在对运到长安的东都藏书的检校整理上当是下了很大的工夫的。他的工作，对于以后杜佑撰修《通典》，可能起到了使杜佑不仅耳濡目染受到学术熏陶、而且有条件有机会接触收集官方藏书资料的作用。虽然我们还不清楚，杜信是何时入的集贤院，参与检讨整理书目的具体工作情形如何。又，有材料表明，除史部以外，杜信还擅长谱学，如他曾专门探讨过杜氏家族的谱系史，写过一部《杜氏家谱》。《玉海》引宋陈振孙《直斋书录解题》卷八记载此事：“《杜氏家谱》一卷，唐太子宾客杜信撰。”
次兄杜位（公元７１２？-７６９年），对杜佑的成长发展也有较重要的影响。杜位的特点是亦有文才，在京师权贵子弟及士人交游圈子里有一定声望，同时熟习礼制（《全唐文》收有杜位所作《对国公嘉礼判》一通，斥掌礼者以非五品以上为由，不向有关官员出示有关礼仪为无知无理，可见熟悉其事），这大概对童年杜佑的知识启蒙，感受当时的文化氛围，乃至以后养成务实而不喜浮华的做人态度，从而走上学术发展的道路，也有一定影响。以后杜佑作《通典》，特别重视礼制，篇幅多且讨论详细。这应该说也是与杜位熟悉礼制的潜在影响有一定关系的。位年长杜佑约２３岁，为玄宗权相李林甫女婿，初入仕的任官情况已不能详知。仅知天宝中可能官至右补阙，并曾在天宝六年前后任京兆府参军。以后的经历，可考知者有以下几点。一是曾因是李林甫女婿的缘故而于李死后遭贬，由右补阙外放新州十年，仕途不甚顺利。《新唐书·李林甫传》：“（林甫卒，杨国忠阴讽禄山暴其短。悉夺官爵，诸子悉徙岭南、黔中）诸婿若张博济、郑干、杜位、元沩、属子复道、光，皆贬官。”杜位贬官之地，从他的从兄也是文友杜甫的一首诗看，是岭南新州（今广东新兴县）。杜甫有数首《寄杜位》诗，其中一首写道：“近闻宽法离新州，想见怀归尚百忧。逐客虽皆万里去，悲君已是十年流。干戈况复尘随眼，鬓发还应雪满头。玉垒题书心绪乱，何时更得曲江游。”天宝十一年是公元７５２年，下推十年，杜位还京，已是肃宗上元二年，公元７６１年，快５０岁的人了。故杜甫有“鬓发还应雪满头”之想。关于杜位的年龄，杜甫《杜位宅守岁》诗有句谓“四十明朝过，飞腾暮景斜”，该诗据郭沫若《李白与杜甫》考证作于天宝十年（公元７５１年），时杜甫４０岁。位为从弟，年龄当相仿佛。姑且以小一岁计，判断杜位是年当３９岁左右，约生于公元７１２年。
杜位在新州任何职，已不能考知。
二是从新州回来后，杜位当一度先去益州与杜甫同在严武幕府，后去荆南道，任节度使行军司马、江陵府少尹（上元元年（公元７６０年）置），旋改迁湖州刺史，大历四年（公元７６９年）卒于任。关于与杜甫同在严武幕府，有杜甫另一首《寄杜位诗》及自注可知。自注谓：“顷者与位同在故严尚书幕。”诗曰：“峡中为客恨，江上忆君时。天地身何在，风尘病敢辞。”据《旧唐书·肃宗纪》，严武上元二年（公元７６１年）十二月为成都尹剑南节度使镇蜀，次年七月入朝，以后广德二年（公元７６４年）复入蜀任职，永泰元年（公元７６５年）卒于任，杜位去蜀，当在此期间，又有可能是在严武第一次入蜀时。《全唐文》卷三九五有一个《杜位小传》，谓至德中位与甫同在严武幕，职夔府司马，历司勋员外郎。所说时间当有误。杜甫这首诗作于大历二年（公元７６７年）在夔州时。时杜位可能已于几年前离开，到江陵任职。见下说明。又，关于杜位曾经为夔州司马，还可以从时僧无可的诗中看到反映。无可约活动于唐肃宗、代宗至德、大历年间，与僧皎然、清澈、灵一，以及颜真卿、张籍等人同时，战争时避地襄阳岘山。无可有《送杜司马再游蜀中诗》，诗中的杜司马，可能就是杜位，应写于位自新州北上至襄阳时。关于任荆南节度使行军司马兼江陵少尹，郁贤皓《唐刺史考》引黄鹤《杜诗详注》有考证。卷二一《乘雨入行军六弟宅》注：“公（杜甫）大历二年抵荆南，是时卫伯玉为节度使，故位为行军司马。行军六弟，即位也。”三是杜位可能在大历二年至四年之间离开江陵去江南出任湖州刺史。岑仲勉《元和姓纂四校记》及郁贤皓《唐刺史考》对此均有考证。岑仲勉谓：据《吴兴志》，湖州刺史有杜位，“乾元元年自江宁少尹拜。卒官，《统记》曰大历四年。”《唐刺史考》进一步推论，杜位大历二年在江陵少尹任，四年转迁湖州刺史。《吴兴志》所谓杜位自江宁少尹拜，当属记载有误。《新唐书·地理志》：至德二载以润州之江宁县置（升州江宁郡），上元二年废。《唐会要·州县改置》：至德二载（公元７５７年）正月十六日，置江宁郡，乾元元年（公元７５８年），改为升州。宝应元年（公元７６２年）四月十五日废州，上元二年（公元７６１年）二月六日改为上元县。知江宁未置府，仅置郡，且时间也很短，才三四年，很快复为上元县，仍属润州。时杜位可能刚从新州北赴严武幕府，而不是江宁。郁贤皓的推论应可信。
从文化学术交游看，位的志趣与信、佑又有不同。位在政界官场有很多朋友，多为当时以诗文见长的着名人物，如杜甫、王维、岑参、严武、郑虔、郑潜耀（驸马）等人。位与诸友之间也时有诗作酬唱往来。这说明，位在艺文方面比较突出。
杜氏三兄弟，信善史录文献，佑善经籍典章，位善艺文礼制，倒也各有专长，相映成趣。如岑参（公元７１５-７６９年），天宝三载进士及第，以后由率府参军累官右补阙（公元７５７年）、起居郎、虢州长史、嘉州刺史（公元７６６年）、太子中允，天宝中曾辟为安西节度使封常清幕府判官，随行安西北庭。我们在岑参的作品里，可以看到他的《郊行致杜位》、《过燕支寄杜位》等与杜位往来诗作。又如杜甫（公元７１２-７７０年），前引寄杜位诸诗作显示出，他不仅与杜位有较多来往，而且关系密切，交情还比较深。又杜位仅有两篇短文传世，一为一道判文，一为代撰墓志文。但揣读两文，可以看出杜位在礼法及士族政治等问题上，均有自己的思考和独立见解，是一个有自己思想的人。
又，杜佑的族侄、大概因所在族支辈分低而年龄相仿的杜环，天宝七年在安西都护府高仙芝幕府，是年唐与大食战，败于怛罗斯，杜环与军中工匠、画匠、纸匠等人一起为大食所俘，辗转游历中亚、西亚诸国至大马士革，直到肃宗宝应元年（公元７６２年）才辗转经东南亚海路归国，受到肃宗朝廷召见，并赏以官职。环写有《经行记》一书记其事，以后杜佑作《通典》收入了不少记载，并作了事迹介绍。杜环等人西行现在看来是中古时期中外文化交流史上的一件大事，带去了中原的技术、文化，带回了有关中亚、西亚的地理、交通、风土人情知识。杜佑与杜环有过接触交流。杜环及其西行中亚、西亚的经历见闻，对于杜佑的知识增长，特别是中外地理、西北边防，以及外交、文化等方面的知识增长和政治、文化见解的形成，也是有影响的。
二、学问志趣
唐代官僚加学者的人物大致可分为两种类型。一种是学问做得好，诗赋文章也写得好，属于文学、学术兼长的类型。
另一种是学问做得好，诗赋文章不一定做得好，属于学术长于文学的类型。杜佑作为一位官僚加学者式的人物，气质类型上可以说是属于后者。他似乎从少年初学时起养成了不好文学而热中于经史典籍、儒家政治理论的学问旨趣。
杜佑当出生在父亲于开元末购置的安仁坊新宅中，在此玩耍长大。他的童年和少年时代是在长安城中度过的。
杜佑的少年时代，正是唐王朝统治处于盛世的开元时代。
当他出生时，励精图治的唐玄宗在位已经二十余年了。这时的中国社会，经过高祖、太宗、高宗、武后以来近百年的经营，又经过玄宗集团二十余年的用贤纳谏、整顿改革经营，制度完备、吏治清明、政治安定、社会经济高度发展、学术文化繁荣，出现了和平文明昌盛的历史局面。可以肯定，良好的社会环境及文化繁荣发展背景，对少年杜佑的成长发展很有利，为杜佑的知识学习和学术旨趣培养提供了很好的条件。
关于开元时期唐代社会经济发展、秩序稳定、文化繁荣的盛况，杜佑远房族人杜甫的《忆昔》诗，所谓“忆昔开元全盛日，小邑犹藏万家室。稻米流脂粟米白，公私仓廪俱丰实。九州道路无豺虎，远行不劳吉日出。齐纨鲁缟车班班，男耕女织不相失”作了十分真实生动的描写。另外我们看《通典》，从一些字里行间流露出的感情也可以看出来，杜佑自己，对当时的空前盛况也是留下了非常深刻的印象、有着美好的回忆的。以下两段描述就可以为例：“（开元）十三年封泰山，米斗至十三文，青齐谷斗至五文，自后天下无贵物；两京米斗不至二十文，面三十二文，绢一匹二百一十文；东至宋、汴，西至歧州，夹路列店肆待客，酒肴丰溢；每店皆有驴赁客乘，倏忽数十里，谓之驿驴；南诣荆、襄，北至太原、范阳，西至蜀川、凉府，皆有店肆以供商旅，远适数千里不持兵刃”。“开元以后，四海晏清，士无不肖，耻不以文章达。”
李白、王维、崔颢、李嶷等着名诗人，曾以《少年行》为题目作诗唱酬，刻画描写开元、天宝时代京师官家子弟或春风得意、豪迈骄傲、翩翩不可一世，或侠义放荡、落拓不羁、花天酒地任我行的气概形象，读后无不令人留下深刻印象。这些作品，可以说也从一个侧面生动反映了当时的社会艳阳高照、歌舞升平、一片和平繁荣气氛的情景。例如，李嶷的《少年行》三首写道：
“十八羽林郎，戎衣侍汉王。臂鹰金殿侧，挟弹玉舆傍。驰道春风起，陪游出建章。”
“侍猎长阳下，承恩更射飞。尘飞马影灭，箭落雁行稀。薄暮随天仗，联翩入琐闱。”
“玉剑膝边横，金杯马上倾。朝游茂陵道，夜宿凤凰城。豪吏多猜忌，无劳问芳名。”
王维写道：
“新丰美酒斗十千，咸阳游侠多少年。相逢意气为君饮，系马高楼垂柳边。”
李白写道：
“五陵少年金市东，银鞍白马度春风。落花踏尽游何处，笑入胡姬酒肆中。”
“君不见，淮南少年游侠客，白日球猎夜拥掷，呼卢百万终不惜，报仇千里如咫尺。少年游侠好经过，浑身装束皆猗罗。兰缌相随喧妓女，风光去处满笙歌，骄矜自言不可有，侠士堂中养来久。好鞍好马乞与人，十千五千旋沽酒。赤心用尽为知己，黄金不惜栽桃李。桃李栽来几度春，一回花落一回新。府县尽为门下客，王侯皆是平交人。男儿百年且乐命，何须徇书受贫病。男儿百年且荣身，何须徇节甘风尘。
衣冠半是征战士，穷儒浪作林泉民。遮莫枝根长百丈，不如当代多还往。遮莫姻亲连帝城，不如当身自簪缨。看取富贵眼前者，何用悠悠身后名。”
崔颢写道：
“洛阳二月梨花飞，秦地行人春忆归，扬鞭走马城南陌，朝逢驿使秦川客。驿使前日发章台，传道长安春早来，棠梨宫中燕初至，葡萄馆里花正开。念此使人归更早，三月便逢长安道。长安道上春可怜，摇风荡日曲河边。万户楼台临渭水，五陵花柳满秦川。
秦川寒食盛繁华，游子春来喜见花。斗鸡下杜尘初合，走马章台日半斜。章台帝城称贵里，青楼日晓歌钟起。贵里豪家白马骄，五陵年少不相饶。双双挟弹来金市，两两鸣鞭上渭桥。渭城桥头酒新热，金鞍白马谁家宿。可怜锦瑟筝琵琶，玉台清酒就君家，小妇春来不解羞，娇歌一曲杨柳花。”
当然，当时的杜佑虽然也是子弟中人，生活的道路上也是到处充满了阳光，而且可能还是个风度翩翩美少年（以后杜佑的幕僚符载为他作《杜佑写真赞并序》，有“修眉广颡，翠容玉色”之赞美语），但从杜佑以后对早年学习生活的回忆看，他似乎并未养成长安少年那种意气昂扬或骄傲不羁的习性情绪，他对长安少年向往的时尚生活似乎不感兴趣，在这些地方并不入时，他是另有追求的。在这方面，关于杜佑的少年生活，史传材料没有多少细节记载反映，但我们可以看一看史家对大致与他同时且家世相当的另一位也是重要人物的德宗宰相萧复的性格爱好描绘。萧复与杜佑，在政治、学术方面也许不可比，但性格气质似乎有些相像，看一看他年轻时的行为爱好，庶几可以对了解杜佑年轻时的性格好尚有所帮助。《旧唐书·萧复传》：“（萧复以荫补官，父衡太仆卿驸马都尉）少秉清操，其群从兄弟竞饰车马，以侈糜相尚，复衣澣濯之衣，独居一室，袭学不倦，非词人儒士不与之游。”杜佑的性格好尚，可以说在好学和不赶时髦上与萧复很相像。不过，待人接物方面，杜佑的一贯特点是宽和、谦虚，这与萧复那种从来自视清高的性格又是大为不同的。