，诏辟贡举，网罗贤才。公偕其弟祖孝俱荐于乡，公擢第一。明年会试礼部，又俱中选，公仍第一。廷试则以国人居其首，公居第二甲第一人，隐然名动京师。授应奉翰林文字、承事郎、同知制诰、兼国史院编修官，日与会稽袁公桷、东平王公士熙以文章相淬砺。
三年冬，擢拜监察御史。时天子临御已久，犹居东宫，而羣下每因燕饮辄有奏请。公上疏曰：「大内正衙，古帝王视朝之所，今大明殿是也。陛下圣德谦恭，尚居东宫之旧，愿御大明正衙，镇服华夏。夫陛下承天地祖宗之重，奉养当极精美，调摄宜进玉食。至于酒醴，固谷麦所为，然近侍进御之际，可思一献百拜之义。且百官奏事，古有朝仪，今承平百年，文物宜备，或三日、二日一御朝听政，宰相羣臣以次奏对，御史执简，史官执笔，缙绅佩玉俨立左右，虽有怀奸利己乞官赏者，亦不敢公出诸口矣。」初，立英庙为皇太子，公请慎选师傅，朝夕辅养，下至臣仆亦宜精择，天下休戚实原于此。
丞相铁木迭儿专权擅势，大作威福。公帅同列论奏其恶，又摭其贪纵不法十余事劾之。仁宗震怒，命罢其政事，将治以罪，赖太后救解得免。公又言：「赞画省务，允宜得人。而参议孛罗、刘吉为丞相腹心，交通贿赂；左右司都事冯翼霄、刘允忠依凭权势，侥幸图进。」遂皆黜退。又言：「秦州山移，实惟大变，非遣使祈谢赈恤一方而可弭也。大臣各宜辞官让能，畏惧修省。史载平公石言之语，世世为监。今山移之谴，岂在野有当用不用之贤，在官有当言不言之佞，所以感召不动之物而动也。」于是宰臣皆家居待罪。河西廉访使杜某以赦后杀人者作赦前原之，肆意废法；大都路总管范某以盗窃家赀，自至兵马司督问，侵官失体；并劾罢之。又荐：「前中书平章萧拜住、左丞王毅，曩在政府数与丞相抗论是非，当寘机要，勿令外补，朝廷缓急有所赖焉。前监察御史彻里帖木儿、中书参议韩若愚皆被丞相诬罔排摈，早赐录用。翰林承旨刘敏中精力尚强，敛身高蹈，可赐半俸，以厉 【 「厉」原作「属」，据李氏钞本、适园本、徐刻本改。】 廉隅。国子司业吴澄通经博古，海内名儒，可进两院，以备访问。翰林修撰陈观、刑部主事史惟良其材方严，宜居谏职。」
公论刑狱尤本哀矜，尝请量移流罪，及论禁挟弓矢曰：「国家不嗜杀人，仁覆生齿。迩年屡发德音，未尝量移流徒，窃虑推恩或有未悉。夫大辟死罪，反被赦原，而减死流徒，独不蒙泽，岂法之平允哉。今后果应长流，请别定制，否则验情重轻，度地善恶，遇恩内徙，幸甚。」又曰：「近制：汉人百人以上执弓矢猎者处极刑，百人以下流远方。微及一兔之获，亦各有罪。方今条格已有禁弓矢之科及聚众之制，又复为此，错纵而网罗之，诚恐愚氓举足蹈罪，实可怜悯。」盖公建白剀切，故多见于施行。五年改宣政院经历，月余辞归。起为社稷署令，被命罢杂事于泉南。
七年正月，仁宗宾天，铁木迭儿复居相位，睚眦必报。屡欲害公未得，左迁公开平县尹。开平治行都，供亿浩穰，讼狱烦多，盖欲因事深中伤之。公退居浮光之野，咏歌诗书，漠然不以介意。久之，丞相不得专政，忧愤而死。郓忠献王栢柱独相，旌别邪正而升黜之，召公为翰林待制。泰定元年三月，诏建储宫，寻开经筵，公拜典宝少监，阶奉直大夫。四月，天子清暑上京，以讲官多老臣，乃命集贤侍读王公结、秘书少监虞公集及公执经从行。明年，拜太子左赞善，寻迁翰林直学士，仍兼赞善。方储宫之建也，一时宾赞之选，责成辅导之意，盖甚重焉。公述古昔调护辅翼之事上之，又因成均释奠，陈太子视学之礼。内廷出礼币，命公助祭。
三年，考试大都乡贡进士。明年，同知礼部贡举，取士八十五人。又充廷试读卷官。是秋，拜礼部尚书。会祖母梁郡夫人张氏卒，护丧南归，持服。公事夫人克尽孝养，初阶官五品，请于朝曰：「祖常幼亡母氏，赖祖母鞠育有成。愿以封妻恩让封祖母。」于是夫人封庆都县太君，着于令。至是公移文曰：「礼有为祖后者，祖卒，为祖母齐衰三年。我朝典制虽不登载，然某误擢礼官，理宜从厚。」无何，使者起复，转右赞善，寻命兼经筵官。又明年，公始至京，复入礼部，阶朝散大夫。旋又辞归。天历二年，文宗凡两遣使召之，方起。至顺初元，知礼部贡举，复取士九十七人。改燕王内尉，又拜礼部，阶太中大夫。公择士务求实学，空言浮辞悉弃不取，中选者多知名于时。拜参议中书省事。是岁十月，文宗举百年旷典，亲祀南郊，公充读祝册官，参定典仪。礼成，大赉四海，侍祠官赐金及币，致仕官一品月给全俸，二品半之，三品及九品赐币有差，民年八十以上者表号高年耆德，并免其家徭役。公议事庙堂，言简而理明。敕卫士饲駞马者听借民宂舍以居，公曰：「卫士饲駞马已有定居，今不遵旧制，徒使细民横被惊扰。且祖常官列三品，尚无宂舍，况细民乎！」奏复其旧。建德之民远游被杀，莫诘谁何。岁余，妻以贫改嫁之。后夫者曰：「知汝夫之死乎？我以汝故杀之。」未几事觉，法司以不首坐之。公曰：「纲常所系，当以重论，以责天下之为人妇者。」制可其请。二年，拜治书侍御史，迁侍御