老，尚能为国守边。”未报，而得疾，享年六十有九。
公累阶开府仪同三司，勋上柱国，开国广平郡爵公，食户七千四百，而实封二千二百，赐号推诚保德守正翊戴功臣。娶陈氏，封卫国夫人。子男四人：曰嗣隆，太常博士；嗣弼，殿中丞；嗣恭，太常博士；嗣先，大理寺丞。女五人，长适职方员外郎荣，次适秘书丞韩镇，次适都官员外郎晁仲约，次适大理寺丞吴得，次适将作监主簿王。孙三人：长曰伯孙，次曰公孙，皆太常寺太祝；次曰昌孙，守秘书郎，有文集、奏议六十卷。
公平生寡言笑，慎于知人，既已知之，久而益笃。喜饮酒引满。然人罕得其欢，而与余尤相好也。铭曰：
君子之守，志于不夺。不学而刚，有摧必折。毅毅程公，其刚不屈。公在政事，有谔其言。直虽不容，志岂不完。谓公不显，公位将相。岂无谋谟，胡不以访？老于辅藩，白首犹壮。公虽在外，邦国之光。奄其不存，士夫曷望？吉卜之从，兆此新冈。惟其休声，逾远弥长。
【太子太师致仕杜祁公墓志铭〈嘉二年〉】
故太子太师致仕、祁国公、赠司徒兼侍中杜公讳衍，字世昌，越州山阴人也。其先本出于尧之后，历三代，常为诸侯，后徙其封于杜，而子孙散适他国者，以杜为氏。自杜赫为秦将军，后三世，御史大夫周及其子建平侯延年仍显于汉。又九世，当阳侯预显于晋。又十有四世，岐国公佑显于唐。又九世而至于祁公。其为家有法，其吉凶、祭祀、斋戒日时币祝从事，一用其家书。自唐灭，士丧其旧礼而一切苟简，独杜氏守其家法，不迁于世俗。盖自春秋诸侯之子孙，历秦、汉千有余岁得不绝其世谱，而唐之盛时公卿家法存于今者，惟杜氏。
公自曾、高以来，以恭俭孝谨称乡里，至公为人尤洁廉自克。其为大臣，事其上以不欺为忠，推于人以行己取信。故其动静纤悉，谨而有法。至考其大节，伟如也。
公享年八十，官至尚书左丞。方其六十有九，岁且尽，即上书告老。明年，以太子少师致仕。累迁太子太保、太傅、太师，封祁国公于其家。天子祀明堂，遣使者召公陪祠，将有所问，以疾不至。而岁时存问、劳赐不绝。
公少举进士高第，为扬州观察推官，知平遥县，通判晋州，知乾州，迁河东、京西路提点刑狱，知扬州，河东、陕西路转运使。入为三司户部副使，拜天章阁待制、知荆南府。未行，以为河北路都转运使，遂知天雄军。召为御史中丞，判流内铨，知审官院，拜枢密直学士，知永兴军，徙知并州，迁龙图阁学士，复知永兴军，权知开封府。康定元年，以刑部侍郎同知枢密院事，即拜副使。庆历三年，迁吏部侍郎、枢密使。明年，以本官同中书门下平章事。
公治吏事，如其为人。其听狱讼，虽明敏而审核愈精，故屡决疑狱，人以为神。其簿书出纳，推析毫发，终日无倦色。至为条目，必使吏不得为奸而已；及其施于民者，则简而易行。始居平遥，尝以吏事适他州，而县民争讼者皆不肯决，以待公归。知乾州未满岁，安抚使察其治行，以公权知凤翔府，二邦之民争于界上，一曰“此我公也，汝夺之”，一曰“今我公也，汝何有焉”？夏人初叛命，天下苦于兵，而自陕以西尤甚，吏缘侵渔，调发督迫，至民破产不能足，往往自经投水以死。于是时，公在永兴，语其人曰：“吾不能免汝，然可使汝不劳尔。”乃为之区处计较，量物有无贵贱、道里远近，宽其期会，使以次输送。由是物不踊贵，车牛刍秣宿食来往如平时，而吏束手无所施，民比他州费省十六七。至于缮治城郭器械，民皆不知。开封治京师，常挠于权要，有干其法而能不为之屈者，世皆以为难，至公能使权要不敢有所干。凡其为治，以听断盗讼为能否尔，独公始有余力省其民事，如治他州，而畿赤诸县之民皆被其惠。开封比比出能吏，而兼于民政者，惟公一人。
吏部审官，主天下吏员，而居职者类以不久迁去，故吏得为奸。公始视铨事，一日，选者三人争某阙，公以问吏，吏受丙赇，对曰“当与甲”。乙不能争，遂授他阙。居数日，吏教丙讼甲负某事，不当得。公悟，召乙问之，乙谢曰：“业已得他阙，不愿争。”公不得已，与丙而笑曰：“此非吏罪，乃吾未知铨法尔。”因命诸曹各具格式科条以白，问曰：“尽乎？”曰：“尽矣。”明日，敕诸吏无得升堂，使坐曹听行文书而已，由是吏不得与铨事，与夺一出于公。居月余，翕然声动京师。其在审官，有以贿求官者，吏谢不受，曰：“我公有贤名，不久见用去矣，姑少待之”。
庆历之初，上厌西兵之久出而民弊，亟用今丞相富公、枢密韩公及范文正公，而三人者遂欲尽革众事以修纪纲，而小人权幸皆不悦，独公相与佐佑。而公尤抑绝侥幸，凡内降与恩泽者，一切不与，每积至十数，则连封而面还之，或诘责其人至惭恨涕泣而去。上尝谓谏官欧阳修曰：“外人知杜某封还内降邪？吾居禁中，有求恩泽者，每以杜某不可告之而止者，多于所封还也。其助我多矣，此外人及杜某皆不知也。”然公与三人者，卒皆以此