性重涩少言。及即位，不与朝士相接，专亲信宦官及左右御刀、应敕等。
是时，扬州刺史始安王遥光、尚书令徐孝嗣、右仆射江祏、右将军萧坦之、侍中江祀，卫尉刘暄更直内省，分日帖敕。雍州刺史萧衍闻之，谓从舅录事参军范阳张弘策曰：“一国三公犹不堪，况六贵同朝，势必相图，乱将作矣。避祸图福，无如此州，但诸弟在都，恐罹世患，当更与益州图之耳。”乃密与弘策修武备，它人皆不得预谋。招聚骁勇以万数，多伐材竹，沉之檀溪，积茅如冈阜，皆不之用。中兵参军东平吕僧珍觉其意，亦私具橹数百张。先是，僧珍为羽林监，徐孝嗣欲引置其府，僧珍知孝嗣不能久，固求从衍。是时，衍兄懿罢益州刺史还，仍行郢州事，衍使弘策说懿曰：；’今六贵比肩，人自画敕，争权睚眦，理相图灭。主上自东宫素无令誉，媟近左右，慓轻忍虐，安肯委政诸公，虚坐主诺！嫌忌积久，必大行诛戮。始安欲为赵王伦，形迹已见；然性猜量狭，徒为祸阶。萧坦之忌克陵人，徐孝嗣听人穿鼻，江祏无断，刘暄暗弱；一朝祸发，中外土崩，吾兄弟幸守外籓，宜为身计；及今猜防未生，当悉召诸弟，恐异时拔足无路矣。郢州控带荆、湘，雍州士马精强，世治则竭诚本朝，世乱则足以匡济；与时进退，此万全之策也。若不早图，后悔无及。”弘策又自说懿曰：“以卿兄弟英武，天下无敌，据郢、雍二州，为百姓请命，废昏立明，易于反掌，此桓、文之业也。勿为竖子所欺，取笑身后。雍州揣之已熟，愿善图之！”懿不从。衍乃迎其弟骠骑外兵参军伟及西中郎外兵参军憺至襄阳。
初，高宗虽顾命群公，而多寄腹心在江祏兄弟。二江更直殿内，动止关之。帝稍欲行意，徐孝嗣不能夺，萧坦之时有异同，而祏执制坚确，帝深忿之。帝左右会稽茹法珍、吴兴梅虫儿等，为帝所委任，祏常裁折之，法珍等切齿。徐都嗣谓祏曰：“主上稍有异同，讵可尽相乖反！”祏曰：“但以见付，必无所忧。”
帝失德浸彰，祏议废帝，立江夏王宝玄。刘暄尝为宝玄郢州行事，执事过刻。有人献马，宝玄欲观之，暄曰：“马何用观！”妃索煮肫，帐下咨暄，暄曰：“旦已煮鹅，不烦复此。”宝玄恚曰：“舅殊无渭阳情。”暄由是忌宝玄，不同祏议，更欲立建安王宝寅。祏密谋于始安王遥光，遥光自以年长，意欲自取，以微旨动祏。祏弟祀亦以少主难保，劝祏立遥光。祏意回惑，以问萧坦之。坦之时居母丧，起复为领军将军，谓祏曰：“明帝立，已非次，天下至今不服。若复为此，恐四主瓦解，我期不敢言耳。”遂还宅行丧。
祏、祀密谓吏部郎谢朓曰：“江夏年少，脱不堪负荷，岂可复行废立！始安年长，入纂不乖物望。非以此要富贵，政是求安国家耳。”遥光又遣所亲丹阳丞南阳刘祏密致意于祏，欲引以为党，祏不答。顷之，遥光以朓兼知卫尉事，朓惧，即以祏谋告太子右卫率左兴盛，兴盛不敢发。朓又说刘暄曰：“始安一旦南面，则刘沨、刘晏居卿今地，但以卿为反覆人耳。”晏者，遥光城局参军也。暄阳惊，驰告遥光及祏。遥光欲出朓为东阳郡，朓常轻祏，祏尉议除之。遥光乃收朓付廷尉，与孝嗣、祏、暄等连名启“朓扇动内外，妄贬乘舆，窃论宫禁，间谤亲贤，轻议朝宰。”朓遂死狱中。
暄以遥光若立，己失元舅之尊，不肯同祏议；故祏迟疑久不决。遥光大怒，遣左右黄昙庆刺暄于青溪桥。昙庆见暄部伍多，不敢发；暄觉之，遂发祏谋，帝命收祏兄弟。时祀直内殿，疑有异，遣信报祏曰：“刘暄似有异谋。今作何计？”祏曰：“政当静以镇之。”俄有诏召祏入见，停中书省。初，袁文旷以斩王敬则功当封，祏执不与；帝使文旷取祏，文旷以刀环筑其心曰：“复能夺我封不！”并弟祀皆死。刘暄闻祏等死，眠中大惊，投出户外，问左右：“收至未？”良久，意定，还坐，大悲曰：“不念江，行自痛也！”
帝自是无所忌惮，益得自恣，日夜与近习于后堂鼓叫戏马。常以五更就寝，至晡乃起。群臣节、朔朝见，晡后方前，或际暗遣出。台阁案奏，月数十日乃报，或不知所在；宦者以裹鱼肉还家，并是五省黄案。帝常习骑致适，顾谓左右曰：“江祏常禁吾乘马；小子若在，吾岂能得此！”因问：“祏亲戚馀谁？”对曰：“江祥今在冶。”帝于马上作敕，赐祥死。
始安王遥光素有异志，与其弟荆州刺史遥欣密谋举兵据东府，使遥欣自江陵引兵急下，刻期将发，而遥欣病卒。江祏被诛，帝召遥光入殿，告以祏罪，遥光惧，还省，即阳狂号哭，遂称疾不复入台。
先是，遥光弟豫州刺史遥昌卒，其部曲皆归遥光。及遥欣丧还，停东府前渚，荆州众力送者甚盛。帝既诛二江，虑遥光不自安，欲迁为司徒，使还第，召入谕旨。遥光恐见杀，乙卯晡时，收集二州部曲于东府东门，召刘沨、刘晏等谋举兵，以讨刘暄为名。
夜，遣数百人破东冶，出囚，于尚方取仗。又召骁骑将军垣历生，历生随信而至。萧坦之宅在东府城东，遥光遣人掩取之，坦之露袒逾墙走向台。道逢游逻主颜端，执之，坦之告以遥光反，不信；自往詷问，知实，乃以马与坦之，相随入台。遥光又掩取尚书左仆射沈文季于其宅