不论禄而论礼，恐今日未易轻言也；惟看其意何如耳』。及顺归，上公备闻先生才德文行。明年乙巳（五年），禀明公廷，聘召先生。先生乃与译者及门人，议其去就；皆曰：『上公好贤嗜学，特召先生，不可违拒』！先生乃应其聘。七月，至武江。自是礼接郑重，待以师友。八月，上公就邦；九月，迎先生至水户。十二月，归武江。丁未（七年）八月，又至水户。每引见谈论，先生援引占义，弥缝规讽，曲尽忠告善道之意。上公亦与之论难经史，讲究道义。冬，上公铸钟簴于城楼以备警时，乃使先生作铭，自书于钟。及上公构高枕亭于绿冈，又使志其亭。
先是，上公欲为先生起第于驹笼别庄。先生力辞数四；且曰：『吾藉上公之眷顾，孤踪于外邦，得养志守节而保明室之衣冠，感恩浴德，莫之大焉，而不能报其万一；至于衣之、食之、居之或丰或俭，则未尝置之怀抱也。且吾祖宗坟墓乔木秀美，想必为虏发掘剪除；每念及此，五内惨裂。耻逆虏之未灭、痛祭祀之有阙，若丰屋而安居，非我志也』。上公慰谕恳至，乃勉从之。
戊申（八年）二月，归武江新第。先生常念守约倾心之笃，每通书信。或寄黄金衣服，以据情素；守约领其轻，还其重。先生乃代金以绢帛，书谕之曰：『昔及相见，分微禄以其半赡不佞；贤契敝衣粝食，乐在其中。盖以我为能贤以为道在是也，岂有有道之人而忘人之德者乎！贤契而忘之，则可也；不佞而忘之，尚得谓之人乎？大凡贤者处世，既当量己，又当量人；贤契自居高洁，则不佞处于不肖矣。不几与初心相纰缪乎？况非所谓高洁乎』！自是不敢拒而受之。
己酉（九年），先生岁七十；自以年老神耗，欲辞西归，乃启陈其意。上公嘉其肫笃，慰勉款曲；先生不得已而从之。十一月十二日先生诞日，上公设养老之礼，飨先生于后乐园，授几杖而礼养焉。十六日，亲临其第，酒殽币帛，礼接稠叠；新制屏风，画以倭、汉年邵德高者六人（武内宿称、藤原在衡、藤原俊成、太公望、桓荣、文彦博）祝其遐寿，尽欢而归。是岁，先生作「诸侯五庙图说」，博采众说，通会经史，旁考古今，以理折衷；识者皆谓不朽之盛典。
庚戌（十年），先生以桧木作寿器，制度周密，漆而藏之。先是，每岁欲用油杉制之，而终无良材称意者，故以桧木代焉。乃谓门人曰：『我既老在异邦，自誓非中国恢复不归也。而或一旦老疾不起，则骸骨无所归，必当葬于兹土。然汝曹素不知制棺之法，临期苟作，则工手不精、制度不密；数年之后，必致朽败。后来倘有逆虏败亡之日，我子若孙有志气者，或欲请之归葬；而墓木未拱，棺椁朽敝，则非徒二三子之羞，亦日域之玷也。吾之所以作此者，非为手足也，为后日虑耳；况礼有七十月制之文乎』！是岁，上公使先生作「学宫图说」，商确古今，剖微索隐，览者若烛照而数计焉。上公乃使梓人依其图而以木模焉；大居其三十分之一，栋梁枅椽莫不悉备。而殿堂结构之法，梓人所不能通晓者，先生亲指授之；及度量分寸，凑离机巧，教喻缜密，经岁而毕。文庙、启圣宫、明伦堂、尊经阁、学舍、进贤楼、廊庑、射圃、门楼、墙垣等，皆极精巧。及上公作石桥于后乐园，先生亦授梓人以制度，梓人自愧其能之不及。又命造祭器之合古典者。先生乃作古升、古尺，揣其称胜；作簠、簋、笾、豆、豋、鉶之属，古意焕然溢目。如周庙欹器，唐、宋以来图虽存而制莫传；先生依图考古，研核其法，指画精到；授之工师，工师谘受频烦，未能洞达。乃为之揣轻重、定尺寸，关机运动，教之弥年，卒得成之。
壬子（十一年）冬，上公使先生率儒生习释奠礼；改定仪注，详明礼节，学者通其梗概。明年癸丑（延宝元年），复于别庄权装学宫，使再习之；于是学者皆精究其礼。甲寅（二年），先是上公使先生制明室衣冠，至是而成；朝服、角带、野服、道服、明道巾、纱帽、幞头之类也。
上公素遇先生以殊礼，寒暑风雨，必问起居；殽馔牲牢，莫不备焉。常念先生客居他邦，精节厉操，乡信阻绝，而言不及子孙；乃谕先生寄书于家，问其家信，且召一孙侍养焉。先生作书寄之。先生之在乡也，兄曰启明，一名之琦，号苍曙；登进士第。因忤阉宦，妄为所劾，虽两奉明旨昭雪，而不赂权要，故十年不得复。后漕运缺御笔亲除，时因流贼破北京，未得到任，遂归。南京洋务军门缺理应启明推补，而时相马士英惟赂是图，又起奸党阮大钺为兵部侍郎以为羽翼，而共推刘安行补焉。启明摈落，但奉朝请而已。清朝欲强用之不可，部院陈锦欲杀之，以操江唐际盛力救得免。后锢于南京，屏居灌园。及先生流离海外，莫知其存亡。次兄某（名阙）字仲琳；未弱冠而卒。先生继妻陈氏，亦先没；后聘胡氏。先是，妻父胡公必欲配之先生，而先生固辞者三，且作书苦辞；胡公不许。聘后，先生适会母丧，未娶。后值乱离奔逃，数寄书而使别许配，而胡公坚执不允；后亦莫知其存亡。先生有二子、一女。长大成，字集之；次大咸，字咸一（据先生与诸孙男书，有『汝父元楷，字是士则否？今忘之』之语，则先生之子不止于是。然平日所话，只有二男，则元楷或是大成、大