急。上初可之，已而殿帅王宗楚等以为侵紊，非祖宗制，诏罢之，余然后窃叹事之难成也。少宰吴敏建议，欲置详议司检详祖宗法制及近年弊政，当改革者，次第施行。诏以徐处仁、吴敏及余为提举官。命既行，为南仲沮止。敏丐去，不果。余奏上曰：“陛下即大位于国家艰难之时，宜一新政事以慰天下之望。而朝廷玩愒，一日复一日，未闻有所变革，近欲置司讨论，寻复罢之。今边事方疏，调度不给，前日爵禄冒滥、蠹邦财者宜稍裁抑之，以足国用，此政事所宜先者。”上以为然，委余条具以闻。余奏上三十余事，谓如节度使至窑刺史，祖宗本以待勋臣，故俸给特厚。当时员数少，今皆以戚里恩泽得之。除边功外，宜悉换授环卫官，以抑其滥。又三省堂吏，祖宗转官时止以正郎，崇、观间始许转至中奉大夫。今宜复祖宗之制，余皆类此。上深然之，降付三省。已而揭榜通衢曰：知枢密院事李纲陈请裁减下项。又榜东华门曰：守御使司给诸军卸甲钱多寡不均。御前特再行支给，而守御使司初未尝给卸甲钱也。余闻之惊骇，徐询所以，乃执政间有密白上，以余得都城军民之心，以此离间之。余始忧惧，不知死所矣。方欲乞罢，会守御使司补进武副尉二人，具状奏知，上批出有：惟辟作福，惟辟作威，大臣专权，浸不可长之语。余惶惧，于上前辩明。曰：始亲征行营及守御使司，得旨一切以便宜行事，给空名文武告、敕、帖等三千余道。自置司以来，用过三十一而已。此二人者，乃赍御前蜡书至太原，当时约以得回报，即与补授，故今以空名帖补讫奏闻，乃遵上旨，非专权也。且叙孤危之踪，为人所中伤者非一，愿罢职任，乞骸骨归田里。上温颜慰谕，以谓偶批及此，非有他意。余退居定力院，入札子待罪乞去。章十余上，上悉批答不允，遣使押入。余不得请，即径出通津门，欲东下。上遣中使宣押，挽舟入城，络绎于道，既复锁府门。
余翌日见上，曰：“人主之用人，疑则当勿任，任则当勿疑。而大臣以道事君，不可则止。今陛下惑于人言，于臣不得无疑，又不令臣得去，不知此何也”上安慰久之。余自此多在告，日欲去而未得。会种师中殁于军前，种师道以病告归，执政有密建议以余为宣抚使代师道者。初，斡离不之师还抵中山、河间，两镇兵民以死固守，不肯下。肃王、张邦昌及割地使等驰至城下说谕，投以矢石乃退，沿边诸郡亦然。而种师道进兵逼之，金人出境，两镇无虞。粘罕之师至太原城下，亦坚壁固守，粘罕屯兵围之，悉破诸县，为锁城法以困太原。锁城法者，于城外矢石不及之地筑垒环绕，分人防守，内外不相通。而姚古进师复隆德府、威胜军，扼南北关，累出兵由井陉道与师中犄角应援太原。师中进次平定，乘胜复寿阳、榆次诸县，不设备，有轻金人之意。又辎重、犒赏之物，悉留真定，不以从行。金人乘间突诸军，以神臂弓射却之。欲赏射者，而随行银碗只十数枚，库吏告不足而罢。于是士皆愤怒，相与散去。师中为流矢所中，死之。其余将士，退保平定军。而师道驻滑州，复以老病丐罢。上纳建议者之说，决意用余宣抚两路，督将士解围。
一日，召对睿思殿，谕以欲遣行者。余再拜力辞，自言书生不知兵，在围城中不得已为陛下料理兵事，实非所长。今使为大帅，恐不胜其任，且误国事，不足以塞责。上不许，即今尚书省书敕令，面授。余奏曰：“藉使臣不量力为陛下行，亦须择日受敕，今拜大将如呼小儿，可乎”上乃许别择日受敕。余退即移疾在告，入劄子乞致仕，力陈所以不可为大帅。且云：此必有建议不容臣于朝者。章十余上，悉批答不允，且督令受命。于是台臣余应求、谏官陈公辅相继上言余不当去朝廷，上皆以为为大臣游说，斥去之，乃无敢言者。或谓余曰：“公知上所以遣行之意乎此非为边事，乃欲缘此以去公，则都人无辞耳。公坚卧不起，谗者益得以行其说，上旦怒，将有杜邮之赐，奈何。”余感其言，起受命，上录《裴度传》以赐。余入札子，具道吴元济以区区淮蔡之地抗唐室，与金人强弱固不相侔，而臣曾不足以望裴度万分之一，以度况臣，实谓非伦。且言诸葛亮《出师表》谓“亲贤臣、远小人，此先汉之所以兴隆也；亲小人、远贤臣，此后汉之所以倾颓也。”夫君子、小人，于用兵之间若不相及，而亮深以为言者，诚以寇攘外患，有可扫除之理；而小人在朝蠹害本根，浸长难去，其患有不可胜言者。是以吉甫赞周王以北伐，必有孝友之张冲。裴相赞唐王以东讨，必去奸邪之元稹。用能成功，焜耀图史。君子、小人之不两立，从古已然。臣窃观陛下嗣位之初，适遭金人入寇，宵旰忧勤、厉精图治，思刷前耻，虽古帝王勤俭之德，无以远过。然君子、小人尚犹混淆于朝，翕讹成风，殊未退黜。谓宜留神照察，在于攘逐戎狄之先。朝廷既正，君子道长，则所以捍御外患者有不难也。今取裴度论元稹、魏洪简章疏，节其要语，辄尘天听。上优诏宠答。宣抚司得兵二万人，而阙马。余白上曰：“戎事以马为先，今乏马如此，无以夺张军容。昔天宝末封常清出师，幽蓟人观之，见其军容不整，皆叛去。今臣出师，安知无窥觇者所系国体，非细故也。事迫矣，请括都城马，给价赏之，可得数千匹。