中、左光禄大夫、开府仪同三司。僧虔少时群从宗族并会，客有相之者云：“僧虔年位最高，仕当至公，余人莫及也。”及授，僧虔谓兄子俭曰：“汝任重于朝，行当有八命之礼，我若复此授，则一门有二台司，实可畏惧。”乃固辞不拜，上优而许之。改授侍中、特进、左光禄大夫。客问僧虔固让之意，僧虔曰：“君子所忧无德，不忧无宠。吾衣食周身，荣位已过，所惭庸薄无以报国，岂容更受高爵，方贻官谤邪！”兄子俭为朝宰，起长梁斋，制度小过，僧虔视之不悦，竟不入户，俭即毁之。
永明三年，薨。僧虔颇解星文，夜坐见豫章分野当有事故，时僧虔子慈为豫章内史，虑其有公事。少时，僧虔薨，慈弃郡奔赴。僧虔时年六十。追赠司空，侍中如故。谥简穆。
其论书曰：“宋文帝书，自云可比王子敬，时议者云‘天然胜羊欣，功夫少于欣’。王平南廙，右军叔，过江之前以为最。亡曾祖领军书，右军云‘弟书遂不减吾’。变古制，今唯右军、领军；不尔，至今犹法钟、张。亡从祖中书令书，子敬云‘弟书如骑骡，骎骎恒欲度骅骝前’。庾征西翼书，少时与右军齐名，右军后进，庾犹不分，在荆州与都下人书云‘小儿辈贱家鸡，皆学逸少书，须吾下，当比之’。张翼，王右军自书表，晋穆帝令翼写题后答，右军当时不别，久后方悟，云‘小人几欲乱真’。张芝、索靖、韦诞、钟会、二卫并得名前代，无以辨其优劣，唯见其笔力惊异耳。张澄当时亦呼有意。郗愔章草亚于右军。郗嘉宾草亚于二王，紧媚过其父。桓玄自谓右军之流，论者以比孔琳之。谢安亦入能书录，亦自重，为子敬书嵇康诗。羊欣书见重一时，亲受子敬，行书尤善，正乃不称名。孔琳之书天然放纵，极有笔力，规矩恐在羊欣后。丘道护与羊欣俱面受子敬，故当在欣后。范晔与萧思话同师羊欣，后小叛，既失故步，为复小有意耳。萧思话书，羊欣之影，风流趣好，殆当不减，笔力恨弱。谢综书，其舅云紧生起，是得赏也，恨少媚好。谢灵运乃不伦，遇其合时，亦得入流。贺道力书亚丘道护。庾昕学右军，亦欲乱真矣。”又著《书赋》传于世。
第九子寂，字子玄，性迅动，好文章，读《范滂传》，未常不叹挹。王融败后，宾客多归之。建武初，欲献《中兴颂》，兄志谓之曰：“汝膏梁年少，何患不达？不镇之以静，将恐贻讥。”寂乃止。初为秘书郎，卒，年二十一。
僧虔宋世尝有书诫子曰：
知汝恨吾不许汝学，欲自悔厉，或以阖棺自欺，或更择美业，且得有慨，亦慰穷生。但亟闻斯唱，未睹其实。请从先师听言观行，冀此不复虚身。吾未信汝，非徒然也。往年有意于史，取《三国志》聚置床头，百日许，复从业就玄，自当小差于史，犹未近彷佛。曼倩有云：“谈何容易。”见诸玄，志为之逸，肠为之抽，专一书，转诵数十家注，自少至老，手不释卷，尚未敢轻言。汝开《老子》卷头五尺许，未知辅嗣何所道，平叔何所说，马、郑何所异，《指例》何所明，而便盛于麈尾，自呼谈士，此最险事。设令袁令命汝言《易》，谢中书挑汝言《庄》，张吴兴叩汝言《老》，端可复言未尝看邪？谈故如射，前人得破，后人应解，不解即输赌矣。且论注百氏，荆州《八帙》，又《才性四本》、《声无哀乐》，皆言家口实，如客至之有设也。汝皆未经拂耳瞥目，岂有庖厨不脩，而欲延大宾者哉？就如张衡思侔造化，郭象言类悬河，不自劳苦，何由至此？汝曾未窥其题目，未辨其指归——六十四卦，未知何名；《庄子》众篇，何者内外；《八帙》所载，凡有几家；《四本》之称，以何为长——而终日欺人，人亦不受汝欺也。由吾不学，无以为训。然重华无严父，放勋无令子，亦各由己耳。汝辈窃议亦当云：“阿越不学，在天地间可嬉戏，何忽自课谪？幸及盛时逐岁暮，何必有所减？”汝见其一耳，不全尔也。设令吾学如马、郑，亦必甚胜；复倍不如今，亦必大减。致之有由，从身上来也。汝今壮年，自勤数倍许胜，劣及吾耳。世中比例举眼是，汝足知此，不复具言。
吾在世，虽乏德素，要复推排人间数十许年，故是一旧物，人或以比数汝等耳。即化之后，若自无调度，谁复知汝事者？舍中亦有少负令誉弱冠越超清级者，于时王家门中，优者则龙凤，劣者犹虎豹，失荫之后，岂龙虎之议？况吾不能为汝荫，政应各自努力耳。或有身经三公，蔑尔无闻；布衣寒素，卿相屈体。或父子贵贱殊，兄弟声名异。何也？体尽读数百卷书耳。吾今悔无所及，欲以前车诫尔后乘也。汝年入立境，方应从官，兼有室累，牵役情性，何处复得下帷如王郎时邪？为可作世中学，取过一生耳。试复三思，勿讳吾言。犹捶挞志辈，冀脱万一，未死之间，望有成就者，不知当有益否？各在尔身己切，岂复关吾邪？鬼唯知爱深松茂柏，宁知子弟毁誉事！因汝有感，故略叙胸怀。
张绪，字思曼，吴郡吴人也。祖茂度，会稽太守。父寅，太子中舍人。绪少知名，清简寡欲，叔父镜谓人曰：“此儿，今之乐广也。”州辟议曹从事，举秀才。建平王护军主簿，右军法曹行参军，司空主簿，抚军、南中郎二府功曹，尚书仓部郎。都令史谘郡县米