‘清晨办公，精神清楚，皇上遵祖法，早起视朝，故无废事。若部中俗例，秋冬春为晚衙门，夏日为早衙门，吾不谓然，然亦须体恤人情，不便自行早来，或三日一到部，或四五日一到部。先一日预告部中，不敢使诸公虚候也。’尚书尚俭，不乘肩舆，一车而已。驾车白骡已老矣。某岁伏雨过多，道途泥泞，行至宣武门外，老骡陷于淖不能起。尚书告其仆曰：‘前有一车，悬工部灯笼，急呼之，予附其车。’问之，果为工部司员，且门生也。是早为尚书堂期，故早起入署，急下车相让。尚书曰：‘此车为吾兄（按：如知为门生，不应称兄）之车，吾兄入车内，予坐车前足矣。不允，予将徒行。’乃同车而行。其白骡从此病惫，乃赁一轿，命仆人舁之。仆未练习，一日行至正阳门，雨后路滑，前二人仆，尚书亦仆于地，道旁观者大笑。有识之者曰：‘此管理顺天府事，父母官也，奈何笑之？’尚书起立曰：‘本来可笑。’乃乘轿而归，京师传为笑柄。凡骡之青色者，年老则变白，潘府中骡多白，故京师人语云：‘潘家一窝白，陈家一窝黑。’尚书天阉，与翁常熟同。一门生不知，初谒时，询问老师几位世兄。尚书曰：‘汝不知我天阉乎？’尚书善鉴别金石，有潍县裴三者，得一汉洗，花纹古篆皆佳，尚书以三百金购之，极喜。裴三求书楹联，诺之曰：‘汝先归店，我即令人送到。 ’乃铺纸濡笔直书，书成一幅，命仆人往送。旋又写成一幅，更仆送去，盖得一古器而兴高也。有诸城县拔贡尹祝年，讲金石之学，入京朝考，自书门生帖谒尚书。尚书曰：‘此非门生也，姑延入。’尹入见，即行师生礼，口称老师。翌日，入南斋，告曹殿撰曰：‘君同乡尹祝年，硬拜老师，似强奸也。’同直者急询之曰：‘强奸已成否？’相与大笑。内侍急入曰，皇上将登殿，笑乃止。
尚书下直，出东华门，必至小合兴酒馆小饮，此馆得其墨迹最多。”所记虽皆琐事，颇有趣致。潘与翁同龢，同以江左名卿，主持风会，翁潘并称，众口一词。（王伯恭于潘、翁均为门人，其《蜷庐随笔》云：“光绪中吴县潘伯寅、常熟翁叔平两尚书，皆以好士名。潘公断断无他，尤为恳到，翁则不免客气。潘公不好诣人，客至无不接见，设非端人正士，则严气正性待之，或甫入座即请出，翁则一味蔼然，虽门下士无不答拜，且多下舆深谈，此两公之异也。……”语有抑扬。）二人生同岁（均道光十年庚寅生，潘十月，翁四月，潘卒于光绪十六年，亦庚寅，亦十月），复同以天阉闻，亦奇。（汪康年《庄谐选录》卷三云：“吴中某尚书，秉体天阉，年五十余，尚无子。一日同僚某造见曰：‘公爵位名誉，无与伦比，所憾膝下尚虚，何不纳妾为宗祧计乎？’其时旁侍仆从甚众，某尚书微哂，以手指仆辈曰：‘我若娶妾，则便宜若辈矣。’相与大笑而散。”此即指潘。潘性豁达，好诙谐，或真有此语，亦未可知。）至谓以钦赐入翰苑云云，潘惟举人出钦赐，咸丰二年壬子会试中式第九名贡士，殿试一甲第三名，授职翰林院编修，六年丙辰即以翰林院侍读在南书房行走。至光绪八年壬午十一月始以刑部尚书授军机大臣（翌年正月即丁忧，后未再直枢廷），距初入南斋，已二十余年矣，不当云后直南斋也（曹殿撰谓潍县曹鸿勋）。
其记京官外官云：“唐宋时服官者重内轻外，故倪若水自外内迁，僚友送行者，望之若登仙。清代京官皆盼外放，缘京官俸薄，外官俸多，盼外放者，思济其贫耳。除贫富不论外，外官多借重于京官，外官之簠簋不饬、办事荒谬者，多被京官参撤，以故外官任优缺者，岁时馈送京官，曰冰敬，曰炭敬。陛见后出京者，尚留别敬。致送者多由汇银之票庄，按门呈交，故京官一见票庄商人名片投谒，则倒屣相迎。京官相遇，尚考询银数之多寡，直言不讳，殊可笑也。渐至主上亦知之。当年高宗与大臣言：‘尔宰相俸一年不过三百金，而车马衣服无不皆备，朕亦不能一一问其所从来。’是可见外边之事，宫内无不知之也。若外放苦缺，则无力应酬京官。各省苦缺，莫苦于广西思恩府，且引为危事。其地瘴疠极恶，至其地者，九死一生。太守莅任，拜印后，书吏请拜一室，室内牌位林立，皆在此病故之前守，此可令人心恶。仰首而观，阁上有长木板，皆庋置前故幕宾箱笼，书曰某县某人，是死于此而旅榇不返者，见之更觉心恶，焉能不病。予仕京廿余年，知死于其地者，不下三四人，因之记名候简之京官，日夜祷祝，勿放此缺。以后偶有得此缺者，多告归不再仕，此人不往，则再请简，枢密大臣尝笑曰：‘既皆不愿往，何必请简？’予怪大臣等奚不奏明其地情形，改为外补之缺，以久仕粤西习惯水土之人任之，何必置京官于烟瘴之地哉。清代不改置，民国则改之，废此府城为墟，以武鸣县遥控之而已。”写京官之藉润于外官，盖陋规早由秘密而公开矣。至所写广西思恩府之苦状，他书亦有及之者。奭良《野棠轩摭言》卷七（《言多》）言思恩府之苦云：“其地谚曰虎上房，蛇上床，皂隶上墙。侵晨将启户，先四望，房上有踞虎，则不开门。地卑湿连山，山蛇如蚁，宵中恒为蛇所扰，如蚊虻。居民极少，皂隶无应募者，但于大堂两翼墙画衙役，以壮观瞻耳