「公若统理军国，谨等便有所依。」遂再拜。群公迫于谨，亦再拜，因是众议始定。
孝闵帝践阼，进封燕国公，邑万户。迁太傅、大宗伯，与李弼、侯莫陈崇等参议朝政。及贺兰祥讨吐谷浑也，谨遥统其军，授以方略。
保定二年，谨以年老，上表乞骸骨。诏报曰：「昔师尚父年踰九十，召公奭几将百岁，皆勤王家，自强不息。今元恶未除，九州不一，将以公为舟烜，弘济于艰难，岂容忘二公之雅操，而有斯请。朕用恧焉。公若更执谦冲，有司宜断启。」三年四月，诏曰：「树以元首，主乎教化，率民孝悌，置之仁寿。是以古先明后，咸若斯典，立三老五更，躬自袒割。朕以眇身，处兹南面，何敢遗此黄发，不加尊敬。太傅、燕国公谨，执德淳固，为国元老，馈以乞言，朝野所属。可为三老，有司具礼，择日以闻。」谨上表固辞，诏答不许。又赐延年杖。高祖幸太学以食之。三老入门，皇帝迎拜门屏之间，三老答拜。有司设三老席于中楹，南向。太师、晋国公护升阶，设几（施）〔于〕席。三老升席，南面凭几而坐，以师道自居。大司（马）〔寇〕、楚国公宁升阶，正舄。皇帝升阶，立于斧扆之前，西面。有司进馔，皇帝跪设酱豆，亲自袒割。三老食讫，皇帝又亲跪授爵以酳。有司撤讫。皇帝北面立而访道。三老乃起立于席后。皇帝曰：「猥当天下重任，自惟不才，不知政治之要，公其诲之。」三老答曰：「木受绳则正，后从谏则圣。自古明王圣主，皆虚心纳谏，以知得失，天下乃安。唯陛下念之。」又曰：「为国之本，在乎忠信。是以古人云去食去兵，信不可失。国家兴废，莫不由之。愿陛下守而勿失。」又曰：「治国之道，必须有法。法者，国之纲纪。纲纪不可不正，所正在于赏罚。若有功必赏，有罪必罚，则有善者日益，为恶者日止。若有功不赏，有罪不罚，则天下善恶不分，下民无所措其手足矣。」又曰：「言行者立身之基，言出行随，诚宜相顾。愿陛下三思而言，九虑而行。若不思不虑，必有过失。天子之过，事无大小，如日月之蚀，莫不知者。愿陛下慎之。」三老言毕，皇帝再拜受之，三老答拜焉。礼成而出。
及晋公护东伐，谨时老病，护以其宿将旧臣，犹请与同行，询访戎略。军还，赐钟磬一部。天和二年，又赐安车一乘。寻授雍州牧。三年，薨于位，年七十六。高祖亲临，诏谯王俭监护丧事，赐缯彩千段，粟麦五千斛，赠本官，加使持节、太师、雍恒等二十州诸军事、雍州刺史，谥曰文。及葬，王公已下，咸送出郊外。配享于太祖庙庭。
谨有智谋，善于事上。名位虽重，愈存谦挹。每朝参往来，不过从两三骑而已。朝廷凡有军国之务，多与谨决之。谨亦竭其智能，弼谐帝室。故功臣之中，特见委信，始终若一，人无间言。每教训诸子，务存静退。加以年齿遐长，礼遇隆重，子孙繁衍，皆至显达，当时莫与为比焉。子寔嗣。
寔字宾实，少和厚。年未弱冠，入太祖幕府，从征潼关及回洛城。大统三年，又从复弘农，战沙苑。以前后功，封万年县子，邑五百户，授主衣都统。河桥之役，先锋陷阵。军还，寔又为内殿，除通直散骑常侍，转太子右卫率，加都督。又从太祖战于邙山。十一年，诏寔侍讲东宫。侯景来附，遣寔与诸军援之，平九曲城。进大都督，迁仪同三司，加散骑常侍。十四年，除尚书。是岁，太祖与魏太子西巡，寔时从。太祖刻石于陇山之上，录功臣位，以次镌勒，预以寔为开府仪同三司。至十五年，方授之。寻除滑州刺史，特给鼓吹一部，进爵为公，增邑二百户。魏恭帝二年，羌东念姐率部落反，结连吐谷浑，每为边患。遣大将军豆卢宁讨之，踰时不克。又令寔往，遂破之。太祖手书劳问，赐奴婢一百口，马一百疋。孝闵帝践祚，授民部中大夫，进爵延寿郡公，邑二千户。又进位大将军，除勋州刺史，入为小司寇。天和二年，延州蒲川贼郝三郎等反，攻逼丹州。遣寔率众讨平之，斩三郎首，获杂畜万余头。乃除延州刺史。五年，袭爵燕国公，进位柱国，以罪免。寻复本官，除凉州总管。大象二年，加上柱国，拜大左辅。隋开皇元年，薨。赠司空，谥曰安。
子顗，大象末，上开府、吴州总管、新野郡公。顗弟仲文，大将军、延寿郡公。仲文弟象贤，仪同三司，尚高祖女。
寔弟翼，自有传。翼弟义，上柱国、潼州总管、建平郡公。义弟礼，上大将军、赵州刺史、安平郡公。礼弟智，初为开府，以受宣帝旨，告齐王宪反，遂封齐国公。寻拜柱国、凉州总管、大司空。智（初）弟绍，上开府、绥州刺史、华阳郡公。绍弟弼，上仪同、平恩县公。弼弟兰，上仪同、襄阳县公。兰弟旷，上仪同，赠恒州刺史。
史臣曰：贺拔岳变起仓卒，侯莫陈悦意在兼并，于时将有离心，士无固志。洛抚缉散乱，抗御仇雠。全师而还，敌人绝觊觎之望；度德而处，霸王建匡合之谋。此功故不细也。李弼、于谨怀佐时之略，逢启圣之运，绸缪顾遇，缔构艰难，帷幄尽其谟猷，方面宣其庸绩，拟巨川之舟楫，为大厦之栋梁。非惟攀附成名，抑亦材谋自取。及谨以耆年硕德，誉重望高，