时也，宜使其立功自赎耳。公曰：诸臣力不能杀耳。春秋之孔子，岂能加于陈恒？但不得谓其不当杀也。熊公谢焉。又遗书王之仁曰：诸公何不沉舟决战，由赭山直趋浙西？而日于江上放船鸣鼓，攻其有备，盖意在自守也。蕞尔三府以供十万之众，北兵即不发一矢，一年之后恐不能支，何守之为？又曰：崇明，江海之门户，曷以兵扰之，亦足分江上之势？闻者皆是公言而不能用。公与王正中合军，得三千人，遂渡海札潭山。太仆寺卿陈潜夫，以军同行，议由海宁以取海盐。因入太湖，招吴中豪杰。会大兵已纂严，不得前。于是复议再举，而江上已溃，公遽归入四明山，结寨自固，余兵愿从者尚五百余人。
己丑，闻监国在海上，乃与都御史方端士赴之。晋左佥都御史，再晋左副都御史。俄而大兵围健跳，城中危甚，置靴刀待命；荡胡救至，得免。时诸帅之悍，甚于方、王；文臣稍异同其间，立致祸。公既失兵，日与尚书吴公钟峦坐船中，正襟讲学；暇则注授时、泰西、回回三历而已。
公之从亡也，太夫人尚居故里。而中朝诏下，以胜国遗臣不顺命者，录其家口以闻。公闻而叹曰：主上以忠臣之后仗我，我所以栖栖不忍去也；今方寸乱矣，吾不能为姜伯约矣。乃陈情监国，得请变姓名，间行归家。是时大帅治浙东，凡得名籍与海上有连者，即行翦除。公于海上位在列卿，江湖侠客多来投止。当事以冯、王二侍郎与公名并悬象魏，而公犹挟帛书，欲招婺中镇将以南援。辛卯夏秋之交，公遣间使入海告警，令为之备而不克。甲午，定西侯间使至，被执于天台；又连捕公。丙申，慈水寨主沉尔绪祸作，亦以公为首。其得不死者皆有天幸，而公不为之慑也。
其后海氛澌灭，公无复望，乃奉太夫人返里门。于是始毕力于著述，而四方请业之士渐至矣。公尝自谓受业蕺山时，颇喜为气节斩斩一流，又不免牵缠科举之习，所得尚浅；患难之余，始多深造。于是胸中窒碍，为之尽释。问学者既多，丁未，复举证人书院之会于越中，以申蕺山之绪。公谓明人讲学，袭语录之糟粕，不以六经为根柢，束书而从事于游谈。故受业者必先穷经，经术所以经世，方不为迂儒之学，故兼令读书史。又谓读书不多，无以证斯理之变化；多而不求于心，则为俗学。故凡受公之教者，不坠讲学之流弊。公以濂、洛之统，综会诸家：横渠之礼教，康节之数学，东莱之文献，艮斋、止斋之经制，水心之文章，莫不旁推交通，连珠合璧；自来儒林所未有也。
康熙戊午，诏征博学鸿儒；掌院学士叶公方蔼先以诗寄公，从臾就道。公次其韵，勉其承庄渠魏氏之绝学，而告以不出之意。叶公商于公门人陈庶常锡嘏；曰：是将使先生为叠山、九灵之杀身也。而叶公已面奏御前。锡嘏闻之大惊，再往辞；叶公乃止。未几，又有诏，以叶公与掌院学士徐公元文监修明史。徐公以为公非能召使就试者，然或可聘之修史；乃与前大理评事兴化李公清同征，诏督抚以礼敦遣。公以母既髦期，己亦老病为辞。叶公知必不可致，因请诏下浙中督抚，抄公所著书关史事者，送入京。徐公延公子百家参史局；又征鄞万处士斯同、万明经言同修，皆公门人也。公以书答徐公，戏之曰：昔闻首阳山二老托孤于尚父，遂得三年食薇，颜色不坏；今我遣子从公，可以置我矣。是时圣祖仁皇帝纯心正学，表章儒术，不遗余力；大臣亦多躬行君子。庙堂之上，钟吕相宣，顾皆以不能致公为恨。庚午，刑部尚书徐公干学因侍直，上访及遗献，复以公对。上曰：可召之京，朕不授以事；如欲归，当遣官送之。徐公对以笃老，恐无来意。上因叹得人之难如此。呜呼！公为胜国遗臣，盖濒九死之余，乃卒以大儒耆年受知当宁，又终保完节，不可谓非贞元之运护之矣。
公于戊辰冬，已自营生圹于忠端墓旁。中置石床，不用棺椁，子弟疑之。公作葬制或问一篇，援赵邠卿、陈希夷例，戒身后无得违命。公自以身遭国家之变，期于速朽，而不欲显言其故也。乙亥之秋，寝疾数日而殁，遗命一被、一褥，即以所服角巾、深衣殓。得年八十有六，遂不棺而葬。妻叶氏，封淑人。三子，长百药、次正谊、次百家。女三。孙男六，千人其季也。孙女四。
公所着有明儒学案六十二卷，有明三百年儒林之薮也。经术，则易学象数论六卷，力辨河洛方位图说之非，而遍及诸家；以其依附于易似是而非者为内编，以其显背于易而拟作者为外编。授书随笔一卷，则淮安阎征君若璩问尚书而告之者。春秋日食历一卷，辨卫朴所言之谬。律吕新义二卷，公少时尝取余杭竹管肉好停匀者断之为十二律与四清声试之，因广其说者也。又以蕺山有论语、大学、中庸诸解，独少孟子，乃疏为孟子师说四卷。史学，则公尝欲重修宋史而未就，仅存丛目补遗三卷。辑明史案二百四十四卷。历学，则公少有神悟；及在海岛，古松流水布算簌簌，尝言勾股之术，乃周公商高之遗，而后人失之，使西人得以窃其传。有授时历故一卷、大统历推法一卷、授时历假如一卷、公历回历假如各一卷。其后梅征君文鼎，本周髀言历，世惊为不传之秘，不知公实开之。文集