先是，清河行人李华，自堂邑战胜後，又睹公辞权而不有之，遂藏於人间不及见。公再三盟约，号令诸郡，及以文牒求之曰：“清河郡属崔审交应贼之後，吏不安，行人李华及崇墉浚隍，锻甲矫翦，乞师破敌，和众以安人。静言其功，须有甄赏。仍牒之於路以求焉。”华於是复诣平原，与公相见。公因问以足用之计。华遂与公数日参议定，以钱收景城郡盐，沿河置场，令诸郡略定一价，节级相输，而军用遂赡。时北海郡录事参军第五琦，随刺史贺兰进明招讨於河北。睹其事，遂窃其法，乃奏肃宗於凤翔，至今用之不绝，然犹未得公本策之妙旨焉。
是年秋，禄山遣其将史思明、尹子奇等，并力攻河北诸郡，前後百馀日。饶阳、河间、景城、乐安，相次而陷，所存平原、博平、清河三郡而已。然人心溃叛，不可复制。公乃将麾下骑数百，弃平原渡河，由淮南、山南取路，朝肃宗於凤翔行在。初公之将过河也，乃谓判官穆宁、张澹曰：“贼势，死尔。若委命待擒，必为其快心，辱国之命也。今将径赴行在，公以为何如？若朝廷必诛败军之罪，以励天下，则王纲可振，死亦何恨！如复从事，以责後效，则业不朽矣。”宁、澹与诸将皆赞之。策马发至，朝廷除公为宪部尚书。初刘客奴以渔阳归顺，时史思明与光弼、子仪相持於赵定之间。客奴遣使越海，与公计会，公使判官贾载将男颇为质信，泛海以军粮及战士衣服遗之。时颇始年十岁馀，公更无子息，三军恳请留之，不从。及载等回，公乃与渔阳声势相连，寻又使人迎其军。比至，公已弃平原，归於行在，竟不及事。然自肃宗已来，河南及诸道立功大将，如王元忠、田神功、董泰、侯希逸、李正已、许杲卿等，初皆是公自北海迎致之者，终无私谒焉。
至二年正月，又除御史大夫。未几，因忤圣旨，贬冯翊太守。乾元元年三月又改蒲州刺史本郡防御使，封丹阳县开国子，食邑一千户。是年，为酷吏唐所诬，贬饶州刺史。二年六月，拜升州刺史，充浙江西道节度使兼宋亳都防御使。刘展反状已露，公虑其侵轶江南，乃选将训卒，缉器械为水陆战备。都统使李亘以公为太早计，因密奏之。肃宗诏追，未至京，拜刑部侍郎。及刘展举兵渡淮，亘败绩奔江西，淮南遂陷於展。议者皆多公而怨亘焉。
上元元年秋。时御史中丞丞敬羽，狙诈险惨，班列皆避之。公曾与之语及政事，遂遭诬，贬蓬州长史。公乐道自怡，不以介怀。宝应元年八月，代宗有诏除利州刺史。十二月拜户部侍郎，加银青光禄大夫上柱国。广德元年，又加金紫光禄大夫，充荆南节度使观察处置使。迟留未行，为密近所诬，遂罢前命。代宗幸陕，公扈从至行在，除尚书右丞。宰相元载与公不叶，公亦面数之，不为之屈。及銮驾还宫，公曾建议先谒庙，然後即安宫阙，事竟不行。时载方在於立班，更顾公曰：“所见虽美，其如不合事宜。”公怒而进曰：“用舍在相公耳，言者何罪乎？然朝廷纪纲，岂堪相公再破除也！”载自此衔之而不忘。二年正月，除检校刑部尚书兼御史大夫朔方行营汾晋等六州宣慰使。载又疑公，因使奏对必言短。寻罢前命，惟知刑部尚书事。三月，晋封鲁郡开国公，食邑三千户。载自与公有隙，常俟公阙，公亦献书直奏其奸状。代宗俱容，不罪之也。
永泰二年春，差公摄职谒太庙。公以祭器不修，言之於朝。载谮公以为讪谤时政，贬峡州别驾。代宗为罚过其罪，寻换吉州别驾。公与往来词客，诗酒讲论，为乐甚。有所著，编为《庐陵集》十卷。於大历三年迁抚州刺史。在州四年，以约身减事为政。然而接遇才人，耽嗜文卷，未曾暂废焉。因命在州秀才左辅元编次所赋，为《临川集》十卷。七年九月，拜湖州刺史。公以时相未忘旧怨，乃加勤於政，而以杭州富阳丞李为本州防御副使，苏州寓客校书郎权器、游客前大理司直杨昱为判官，委垦草辟田之务於，委阅簿检吏接词政之务於器、昱等，而境内宴然。公初在平原，未有兵革之日，著《韵海镜源》，成一家之作。始创条目，遂遇禄山之乱，寝而不修者二十馀年。及至湖州，以俸钱为纸笔之费，延江东文士萧存、陆士修、裴澄、陆渐、颜祭、朱弁、李莆、清河寺僧智海，兼善小篆书吴士汤涉等十佘人，笔削旧章，该搜群籍，撰定为三百六十卷。大凡据《法言》、《切韵》次其字，按经史及诸子语，据音韵次字成句者刊成文裁以类编；又按《仓雅》及《说文》、《玉篇》等，其义各注其下，谓之字脚。“韵海”者，以牢笼经史之语，依韵次之，其多如海。“镜源”者，八体之本，究形声之义，故曰镜源。绵亘数载，其功乃毕。表奏上之，有诏付所司藏之於书府。大抵求经史撰集篇赋，利於後学焉。此外饯别之文，及词客唱和之作，又为《吴兴集》十卷。今检校国子祭酒杨昱，自御史中丞京畿采访使除为汉州刺史，转湖州刺史。以旧府之恩，乘州人之请，纪公遗事，刊石立《去思碑》於州门之外。即今都官郎中陆长源之词也。
十二载，元载伏诛，召公为刑部尚书经年。公以前後频典刑宪，密启辞焉。乃上选举利害事宜数十条，代宗善之，人莫知也。遂改吏部尚书，今上谅暗之际，诏公为礼