相知者陈函辉、张肯堂，同县则邹元实、斗东叶大受、陈遵之族子锦，尤与王翊、吴钟峦、朱永佑契。之瑜之返日本也，诸将留之，张煌言挽之尤力。之瑜以海滨无田可耕，坐而縻饷，有负本志，遂行。
初，交址王檄取通晓中华文字者，被摄至，不拜；王怒，锢禁之。继知不可屈，遗书有「太公佐周而周王，陈平在汉而汉兴」语。答曰：「天祸明室，不佞逃遁贵邦，苟全性命。如欲委质他国，皇天后土，实鉴此心。倘异日者，瑜藉大王之灵，遄归桑梓，当举贵国携贰之端，昌言于朝，使圣主明见万里，贵国得世守藩维，岁贡终王，宁不贤于瑜之竭蹶贵邦哉」。乃纵之归。
之瑜问学赅博，少从业慈溪李契元，有诗数十篇，附刻姚江诗存。文集二十八卷，皆海外所作，日本正德二年源纲条刻之，有安东守约序。日本高弟有守约子安积觉，又今井将兴（谨据朱衍绪家传补）。