海总兵王之仁曰：「潝潝訿訿，出自庸妄六狂生，而一穉绅和之。将军请以所部来斩此七人，则事定矣。某当奉千金为寿」！稚绅者，指肃乐年未四十也。会肃乐亦遣客倪懋熹以书告劝之仁来归，盖以之仁先会款降耳。之仁两答之，期十五日至。及期，之仁至，大会诸乡老，突出三宾书，数其罪；三宾叩头乞命，愿出万金助饷。之仁遂从肃乐缔盟，共城守。
是月十八日，遣举人张煌言赴台州，表迎鲁王监国。会余姚、绍兴亦举兵，王乃至绍兴行监国事，画江防守。途中加太仆寺少卿。二十八日，再奉笺劝进，召肃乐往，晋右佥都御史。四疏固辞，请以原衔视事；其诸弟侄授爵者，并辞之。兼言：「爵赏宜慎，不可蹈赧王覆辙，滥予名器」！当是时，浙西诸郡县并起义兵，苏、松、嘉、湖列营数百，适与浙东首尾相应，惟杭州孤悬。肃乐请帅兵由海道，作窥吴计；不听。未几，分地、分饷之议起。故总兵官方国安自浙西来，军最盛，王之仁次之，号正兵；食用宁、绍、台三郡田赋，谓之正饷。肃乐所领之义兵，则取给于富室之乐输，谓之义饷。未几，正兵并取义饷，而义兵遂无所取给，司饷者不能应。肃乐派取之饷惟鄞、奉二县，国安檄二县不必支应，盖留以为之仁地也。屡疏入告，不能诘；但以叙十捷功，再加右副都御史。复疏言：「臣郡臣邑因臣起义兵，桑梓膏血一空，曾莫之救；而今日迁官、明日加级，是臣无恻隐之心也。沉宸荃、陈潜夫之才略机谋，方端士之勇，官阶并出臣下；而臣翻受赏，是臣无羞恶之心也。臣部将钟鼎新等，斩级擒囚之事皆出其力，臣以未得取杭，不欲为请殊擢；而臣自受之，是臣无辞让之心也。臣少见史册所载冒荣苟禄，恶之若仇；而臣自蹈之，是臣无是非之心也」。又言：「臣近者十道并举，冀杭城可复。闻主上起行中廷，盼望捷音，不能安坐，而臣终不能绝流而渡。臣今不能入杭，誓不再受一官」！王不许。闽中唐王立，诏至，张国维、熊汝霖主不奉诏。朱大典与肃乐议以「大敌在前而同姓先争，岂能成中兴之业，宜权称皇太侄报命。若我师渡江向金陵，则大号非闽人所能夺」！于是议不大合。方、王辈忌之，遂言肃乐初不受副都之命为怀贰心于闽也；不得已，郁郁受官，而饷仍不至。旋以奄人客凤仪、李国辅兼制军需，因力言中官不可任外事。由是诸藩、内臣交恶之，随事中梗；兵至断饷四十日，行乞于涂，徒以肃乐忠义感成，相依不散而卒无叛者。疏凡数十上。略曰：「国有十亡而无一存、民有十死而无一生。翘车四出，无一应命，贤人肥遁，不肖攘臂：一也。宪臣刘宗周之死，关系甚钜；赠谥、荫恤未协舆情，敕部改正，迟久未上：二也。张国俊以戚畹倚强权、侔人主，中外共指奸丛：三也。诸臣以国俊故，相继进言，主上以为不必，几于防口；所以台省直谏发言盈廷，而无俾群枉：四也。新进鼓舌摇唇，罔识体统；朝章申令，委诸草莽：五也。反复小人，借推戴以呈身；阘茸下流，冒荐举而入幕：六也。楚藩江干开诏息同姓之争，李长祥面加斥辱，凌蔑至此：七也。咫尺江波，烽烟不息；而越城裦衣博带，满目太平，燕笑漏舟之中、回翔焚栋之下：八也。所与托国者，强半南中故臣；鸮鸟怪声转徙可恶，飞蛾灭烛至死不改：九也。此犹枝叶也，请言根本。今七月雨水不时，漂庐舍千百，以水死；卤潮冲入，西成失望，以饥死；壮者殒锋镝、弱者疲转输，以战死；文武牙门票取牌索，一日数至，以供应死；享南泽国，倚舟为命，今调发既烦，小民皆沉舟束手，以无艺死；入乡钞掠，鸡犬不遗，此营未去而彼营又来，以财死；富室输金，当以义劝，非有罪于官也，而动鞿职囚，有甘心雉经者，以刑死；大军所过，沿门供亿，淫洿横行，以辱死；劣衿恶棍罗织乡里以为生涯，百毒齐起，以忧死；今也竭小民之膏血不足供藩镇之一吸，继也合藩镇之兵马不足卫小民之一发，凛凛乎将以不薙发死。由前九亡，并此而十。若不早图变计，臣不知所税驾矣」！时国俊外仗方、王，内与客、李二奄比；马、阮皆在方军遥相应，见疏皆恨甚。既而谢三宾以重金啖国俊，引以为礼部尚书，直阁事；遂并力挤之。寻加兵部侍郎，辞不受。会传闽遣大学士黄鸣骏来，尽科浙中八府之粮；而闽中故无是举，士英、大铖交构之也。已谍言大清兵将自海道来，乃移守沥海；时饷终无所得，疏言：「臣师二千，既无分地，势须遣散。但臣以举义而来，大仇未复，终不敢归安庐墓。散兵之日，愿率家丁数人从军自效。济则君之灵也，不济则以死继之」！王温旨慰留。而诸将益蜚语，谓将弃军逃闽。先是，闽颁诏入浙，并赐倡义诸臣敕命，加官爵，肃乐奉表谢；遂为群小口实，甚且有遣客刺取其首者。于是拜表弃军以行；言「臣从今披发入山，永与世辞。主上请加■〈车从〉迹，断不入闽以遭殄灭」！遂之温州避人。王得疏大骇；知不可留，降旨令往海上同藩臣黄斌卿、镇臣张名振共取道崇明以复三吴。加吏部尚书兼理户部事；辞之。是为丙戌五月。不三旬而江上破。
肃乐之解兵也，闽使召之；以江上之嫌不赴。及江上破，由海道入闽，请急提兵出关；不可。退入广东，疏陈越中十弊为戒；唐王优诏答