人又劝他道：“你既不肯住在城中，何不离城数里在半村半郭之间寻一个住处？既可避嚣，又使我辈好来亲近。若还太去远了，我们这几个都是家累重大的人，如何得来就教？”呆叟道：“入山惟恐不深，既想避世，岂肯在人耳目之前？半村半郭的，应酬倒反多似城内，这是断然使不得的。”回了众人，过不上几日，就携家入山。
自他去后，把这些乡绅大老弄得情兴索然。别个想念他还不过在口里说说，独有殷太史一位，不但发于声音，亦且形诸梦寐；不但形诸梦寐，又且见之羹墙。只因少了此人，别无诤友。难道没些过失，再没有一人规谏他？因想呆叟临别之际，坐在一间楼上，赠他许多药石之言，没有一字一句不切着自家的病痛；所以在既别之后，思其人而不得，因题一匾名其楼曰“闻过搂”。
呆叟自入山中，遂了闲云野鹤之性，陶然自适不啻登仙。
过了几月，殷太史与一切旧交因少他不得，都写了恳切的书，遣人相接，要他依旧入城。他回劄之中，言语甚是决烈。众人知道劝他不回，从此以后，也就不来相强。
一日，县中签派里役，竟把他的名字开做一名柜头，要他入县收粮，管下年监兑之事。差人赍票上门，要他入城去递认状。呆叟甚是惊骇，说：“里中富户甚多，为什么轮他不着？我有几亩田地，竟点了这样重差？”差人道：“官错吏错，来人不错。你该点不该点，请到县里去说，与我无干。”呆叟搬到乡间未及半载，饭稻羹鱼之乐才享动头，不想就有这般磨劫；况且临行之际曾对人发下誓言，岂有未及半年就为冯妇之理？
只得与差人商议，宁可行些贿赂，央他转去回官，省得自己破戒。差人道：“闻得满城乡宦都是你至交，只消写字进去，求他发一封书劄，就回脱了，何须费什么钱财！”呆叟素具傲骨，不肯轻易干人；况有说话在先，恐为众人所笑，所以甘心费钱，不肯写字。差人道：“既要行贿，不是些小之物可以干得脱的，极少也费百金，才可以望得幸免。”呆叟一口应承，并无难色，尽其所有，干脱了这个苦差。未免精疲力竭，直到半年之后，方才营运得转。正想要在屋旁栽竹，池内种鱼，构书属于住宅之旁，蓄蹇驴于黄犊之外，有许多山林经济要设施布置出来。
不想事出非常，变生不测，他所居之处，一向并无盗警，忽然一夜，竟有五七条大汉，明火执仗打进门来，把一家之人吓得魂飞胆裂。
呆叟看见势头不好，只得同了妻子立过一边，把家中的细软任凭他席卷而去。既去之后，捡着几件东西，只说是他收拾不尽、遗漏下来的；及至取来一看，却不是自己家中之物，又不知何处劫来的。所值不多，就拿来丢过一边，付之不理。
他经过这番劫掠，就觉得穷困非常，渐渐有些支撑不去；依旧怕人耻笑，不肯去告贷分文。心上思量说：“城中亲友闻之，少不得要捐囊议助，没有见人在患难之中坐视不顾之理。与其告而后与，何如不求而得？”过不上几日，那些乡绅大老果然各遣平头，赍书唁慰。书中的意思便关切不过，竟像自己被劫的一般。只是一件可笑：封封俱是空函，并不见一毫礼物，还要赔酒赔食款洽他的家人。心上思量道：“不料人情恶薄，一至于此！别人悭吝也罢了，殷太史与我是何等的交情，到了此时也一毛不拔，要把说话当起钱来，总是日远日疏的缘故。古人云‘一日不见黄叔度，鄙吝复生。’此等过失皆朋友使然，我实不能辞其责也。”写几封勉强塞责的回书，打发来人转去。
从此以后，就断了痴想，一味熬穷守困。又过了半年，虽不能够快乐如初，却也衣食粗足，没有啼饥号寒之苦。不想厄运未终，又遇了非常之事。忽有几个差人赍了一纸火票上门来捉他，说：“其时某日拿着一伙强盗，他亲口招称，说：‘在乡间打劫，没有歇脚之处，常借顾某家中暂停。虽不叫做窝家，却也曾受过赃物，求老爷拘他来审审。’”呆叟惊诧不已，接过票来一看，恰好所开的赃物就是那日打劫之际遗失下来的几件东西，就对了妻孥叹口气道：“这等看来，竟是前生的冤孽了！我曾闻得人说：‘清福之难享，更有甚于富贵。’当初有一士人，每到黄昏人静之后，就去焚香告天，求遂他胸中所欲，终日祈祷，久而不衰。忽然一夜，听见半空之中有人对他讲道：‘上帝悯汝志诚，要降福与汝，但不知所愿者何事？故此命我来询汝。’士人道：‘念臣所愿甚小，不望富贵，但求衣食粗足，得逍遥于山水之间足矣。’空中的人道：‘此上界神仙之乐，汝何可得？若求富贵则可耳。’就我今日之事看来，岂不是富贵可求，清福难享？命里不该做闲人，闲得一年零半载，就弄出三件祸来，一件烈似一件。由此观之，古来所称方外司马、山中宰相其人者，都不是凡胎俗骨。这种眠云漱石的乐处，骑牛策蹇的威风，都要从命里带来，若无夙根，则山水烟霞皆祸人之具矣。”说了这些话，就叫妻孥收拾行李，同了差役起身。喜得差来的人役都肯敬重斯文，既不需索银钱，又不擅加锁钮，竟像奉了主人之命来邀他赴席地一般，大家相伴而行，还把他逊在前面