堂大似厅屋，地气太泄，无怪乎不聚钱财；花竹多似桑麻，游玩者来，少不得常赔酒食。这样房子只好改做庵堂寺院，若要做内宅住家小，其实用他不着”。虞素臣一生心血费在其中，方且得意不过，竟被他嫌出屁来，心上十分不服。只因除了此人别无售主，不好与他争论。那些居间之人劝他“不必憎嫌，总是价钱不贵，就拆了重起，那些工食之费也还有在里边”。
玉川父子二人少不得做好做歹，还一个极少的价钱，不上五分之一。虞素臣无可奈何，只得忍痛卖了。一应厅房台榭、亭阁池沼，都随契交卸；只有一座书楼，是他起造一生最得意的结构，不肯写在契上，要另设墙垣，别开门户，好待他自己栖身。玉川之子定要强他尽卖，好凑方圆。玉川背着众人努一努嘴道：“卖不卖由他，何须强得。但愿他留此一线，以作恢复之基，后面发起财来，依旧还归原主，也是一桩好事。”众人听了，都说是长者之言。哪里知道并不长者，全是轻薄之词，料他不能回赎，就留此一线也是枉然，少不得并做一家，只争迟早。所以听他吩咐，极口依从，竟把一宅分为两院，新主得其九，旧人得其一。
原来这几间书楼，竟抵了半座宝塔，上下共有三层，每层有匾式一个，都是自己命名、高人写就的。最下一层有雕栏曲槛，竹座花蔹，是他待人接物之处，匾额上有四个字云：与人为徒。
中间一层有净几明窗，牙签玉轴，是他读书临帖之所，匾额上有四个字云：与古为徒。
最上一层极是空旷，除名香一炉、《黄庭》一卷之外，并无长物，是他避俗离嚣、绝人屏迹的所在，匾额上有四个字云：与天为徒。
既把一座楼台分了三样用处，又合来总题一匾，名曰“三与楼”。未曾弃产之先，这三种名目虽取得好，还是虚设之词，不曾实在受用。只有下面一层，因他好客不过，或有远人相访，就下榻于其中，还合著“与人为徒”四个字。至于上面两层，自来不曾走到。如今园亭既去，舍了“与古为徒”的去处，就没有读书临帖之所，除了“与天为徒”的所在，就没有离嚣避俗之场，终日坐在其中，正合著命名之意。才晓得舍少务多，反不如弃名就实。俗语四句果然说得不差：良田万顷，日食一升。
大厦千间，夜眠七尺。
以前那些物力都是虚费了的！从此以后，把求多务广的精神，合来用在一处，就使这座楼阁分外齐整起来。
虞素臣住在其中，不但不知卖园之苦，反觉得赘瘤既去，竟松爽了许多。但不知强邻在侧，这一座搂阁可住得牢？说在下回，自有着落。
第二回 不窝不盗忽致奇赃 连产连人愿归旧主
玉川父子买园之后，少不得财主的心性与别个不同，定要更改一番，不必移梁换柱才与前面不同，就像一幅好山水，只消增上一草，减去一木，就不成个画意了。经他一番做造，自然失去本来，指望点铁成金，不想变金成铁。走来的人都说：“这座园亭大而无当，倒不若那座书楼紧凑得好。怪不得他取少弃多，坚执不卖，原来有寸金丈铁之分。”玉川父子听了这些说话，就不觉懊悔起来。才知道做财主的，一着也放松不得，就央了原中过去撺掇，叫他写张卖契并了过来。
虞素臣卖园之后，永不兴工，自然没有浪费。既不欠私债，又不少官钱，哪里还肯卖产？就回复他道：“此房再去，叫我何处栖身？即使少吃无穿，也还要死守，何况支撑得去，叫他不要思量。”中人过来说了，玉川的儿子未免讥诮父亲，说他：“终日料人，如今料不着了。”玉川道：“他强过生前，也强不过死后。如今已是半老之人，又无子嗣，少不得一口气断，连妻妾家人都要归与别个，何况这几间住房！到那时节，连人带土一齐并他过来，不怕走上天去。”儿子听了，道他“虽说得是，其如大限未终，等他不得，还是早些归并的好”。
从此以后，时时刻刻把虞素臣放在心头，不是咒他早死，就是望他速穷；到那没穿少吃的时节，自然不能死守。准想人有善愿，天不肯从，不但望他不穷，亦且咒他不死。过到后面，倒越老越健起来。衣不愁穿，饭不少吃，没有卖楼的机会。
玉川父子懊恼不过，又想个计较出来，倒去央了原中，逼他取赎。说：“一所花园，住不得两家的宅眷，立在三与楼上，哪一间厅屋不在眼前？他看见我的家小，我不见他的妇人，这样失志的事没入肯做。”虞素臣听了这些话，知道退还是假，贪买是真，依旧照了前言斩钉截铁地回复。
玉川父子气不过，只得把官势压他，写了一张状词，当堂告退，指望通些贿赂，买嘱了官府，替他归并过来。谁想那位县尊也曾做过贫士，被财主欺淩过的，说：“他是个穷人，如何取赎得起？分明是吞并之法。你做财主的便要为富不仁，我做官长的偏要为仁不富！”当堂辱骂一顿，扯碎状子，赶了出来。
虞素臣有个结义的朋友，是远方人氏，拥了巨万家资，最喜轻财任侠。一日，偶来相访，见他卖去园亭，甚为叹息。又听得被人谋占