半酣，从容问诸将曰：「一日无我，谁可主军？」众皆称兆。荣曰：「兆虽勇於战斗，所将不过三千骑，多则乱矣。堪代我者，惟贺六浑耳。」因戒兆曰：「尔非其匹，日后终当为伊穿鼻。」兆愈不悦。
荣性好猎，不问寒暑，列围而进，士卒必步伐齐壹，虽遇险阻，不得违避，一鹿逸出，必数人坐死。有一卒见虎而走，荣怒曰：「汝畏死耶！」即斩之。自是每猎，士卒如登战场。尝见虎在空谷中，令十余人空手搏之，毋得损坏皮毛，死者数人，卒擒得之，以此为乐。尝召天穆於朝，问以朝中动静。留数日，共猎於南山。天穆谏曰：「大王勋业已盛，四方无事，惟宜修政养民，顺时搜狩，何必盛夏驰逐，感伤和气。」荣攘袂大言曰：「灵后不纲，扫除其乱，推奉天子，乃人臣常节。葛荣之徒，本皆奴才，乘时作乱，譬如奴走，擒获即已。顷来受国大恩，未能混一海内，何得遽言勋业？如闻朝士犹多宽纵，今秋欲与兄戒勒士马，交猎嵩高，令贪污朝贵入围搏虎，不从命者斩之。乃出鲁阳，历三荆，悉拥生蛮北填六镇。回军之际，扫平汾胡。更练精兵，分出江、淮，萧衍若降，赐以万户侯；如其不降，以数千轻骑，渡江缚取以来。然后与兄奉天子巡四方，乃可称勋耳。今不频猎，兵士懈怠，安可复用哉？」天穆再拜曰：「非鄙怀所及。」
荣欲密树党援，易河南州牧、郡守，悉用北人为之。天穆归，附奏以闻。
帝览奏，疑之，谓天穆曰：「河南牧守皆克称职，况北人不暗南事，恐未可易。」天穆不悦曰：「天柱有大功於陛下，为国宰相，即请遍代天下之官，恐陛下亦不得违。如何启用数人，遂不许也？」帝正色而言曰：「天柱若不为人臣，虽朕亦可代。如其犹存臣节，无代天下百官之理。」天穆语塞而退。
荣见奏不允，大怒曰：「天子由谁得立，今乃不用我言耶？」先是散骑常侍高乾邕好任侠，其弟三人：次仲密，次敖曹，次季武，皆才勇。而敖曹尤武艺绝伦，人称之为楚霸王，皆与帝有旧。河阴之乱，乾乃聚兵於河、济之间，频破尔朱军。帝使人招之，遂同入朝。帝封乾邕为黄门侍郎，敖曹为散骑常侍。荣知之，奏帝曰：「此等皆曾叛乱，不宜立於朝廷。」帝不得已，并解其职，放还乡里，由是帝怀不平。
尔朱后容颜绝代，初入宫，与帝甚相欢悦，而性烈如火，又极嫉妒，六宫嫔御皆阻绝临幸，虽王府旧人，亦不得见帝一面。时三月中旬，帝见春色甚好，带了内侍数人，步入御园游玩，在千秋亭上凴栏观鱼。有宫人进前曰：「紫华宫赵贵人见驾。」帝令入，妃再拜。帝问曰：「卿何知朕在此而来？」
妃曰：「妾不知陛下在此，偶尔至园，闻帝在亭，特来朝见。」帝赐坐，与言昔日事，命宫人置酒共酌。盖妃本旧侍，帝素宠爱，以后故，阻绝旧情，故见面依依不舍。又谓妃曰：「朕不到卿宫几年矣？」对曰：「二年。」帝曰：「朕虽至尊，动息不能自主，致令抛弃卿家。」说罢愀然。少间，赵妃拜退，帝亦回宫。那知后已密知此事，设宴对饮，见帝默默不乐，后曰：「今日谁恼圣怀，对酒不饮？」帝曰：「懒於饮耳，无所恼也。」后曰：「陛下休瞒，千秋亭上赵妃以言语触犯，故帝不乐。明日妾为帝治之。」帝惊曰：「赵妃系朕旧人，与之略谈数语，有何触犯，劳卿责治？」后道：「擅出宫门，一罪也。私来见驾，二罪也。妾主中宫自有法度，陛下何得以私爱而庇有罪之人？」帝见其言词不顺，拂衣而起，后安坐不动。帝心愈恚，遂不顾而去。次日，后御九华殿会集诸妃、贵人，下令曰：「紫华宫赵贵人自恃旧宠，骄纵不法，擅入御园，私预帝宴，大乾宫禁。」遂执赵妃於阶下，命即勒死，埋屍苑内。诸妃见了，大惊失色，暗暗垂泪回宫。帝闻妃死，不胜伤感，然畏尔朱权势，只得容忍。因念世隆是他叔父，或可劝谕，乃使入告於后。世隆拜见，赐坐殿上。后问：「何事至内？」世隆曰：「臣有一言上达。娘娘主持内政，执法过严，帝心不安，故命臣进见，愿宏宽仁之度，毋拂圣怀。」后大怒道：「天子由我家得立，乃心爱他人而反致怨於我，何忘恩若此？但恨我父当日何薄天子不为而偏立之？」世隆曰：「天柱若自为帝，臣亦得封王矣。」世隆遂出，复命於帝曰：「臣奉陛下之旨劝谕一番，后自此改矣。」那晓尔朱后因帝不悦，凶悍愈甚，全无天子目中。
帝是时外制於荣，内迫於后，日夜怏怏，不以万乘为乐。唯幸寇盗未息，欲使与荣相持。及关、陇既定，告捷之日乃不甚喜，谓临淮王彧曰：「即今天下，便是无贼。」彧见帝色不悦，曰：「臣恐贼平之后，正劳圣虑。」帝恐余人觉之，因言曰：「抚宁荒乱，真是不易。」时城阳王徽、侍中李彧在旁，皆觉帝意，因日毁荣於帝，劝帝除之。帝亦惩河阴之难，恐终难保，由是密有图荣之意。荣又奏称：「参军许周劝臣取九锡，臣恶其言，已斥遣罢退。」盖荣望得殊礼，故言之以讽朝廷。帝称歎其忠心，益恶之。乃召心腹
旧臣侍中杨侃、李彧、右仆射元罗、城阳王徽、胶东侯李侃晞、济阴王晖业、尚书高道穆等入宫，密议其事。杨侃曰：「臣有三策，乞陛下自裁。」帝问：「何策？」侃曰：「密勒人马，将