下必欲出此，臣不敢奉诏。”言亦痛切。玄宗默然无语，面有愠色。九龄却毫不改容，徐徐引退。及散朝后，惠妃密使宫奴牛贵儿，走白九龄道：“有废必有兴，公若肯援助，相位可长处了。”九龄怒叱道：“宫阃怎得与外事？休再向我饶舌！”及牛贵儿别去，九龄即详达玄宗，玄宗乃暂置前议。
武惠妃深恨九龄，遂与李林甫串同一气，内外排击。玄宗本因九龄文雅，大加赏识，至此为宠妃奸相，日夕浸润，也不免冷淡起来。会平卢讨击使安禄山，为张守珪所遣，讨奚契丹叛党。禄山恃勇轻进，为虏所败，守珪奏请正法，禄山临刑大呼道：“公欲灭奚契丹，奈何杀壮士？”守珪听了，暗暗称奇，乃更执送京师，听候发落。欲诛竟诛，稍一因循，便留大患，守珪不为无咎。九龄览到移文，即援笔批答道：“昔穰苴诛庄贾，孙武斩宫嫔，军法如山，何容瞻徇！守珪军令若行，禄山不宜免死。”及玄宗亲自按囚，见禄山状貌魁梧，不忍加诛，且于九龄有不足意，竟下诏特赦。九龄固争道：“失律丧师，不可不诛，且禄山貌有反相，不杀必为后患。”玄宗冷笑道：“卿勿以王夷简识石勒，事见《晋史》。枉害忠良。”九龄知不可争，方才退出。既而上《千秋金鉴录》，累述前代兴废源流，共书五卷。玄宗虽赐书褒美，也不过表面敷衍罢了。原来玄宗生日，号作千秋节，群臣统献宝镜。九龄谓取镜自照，徒见形容，取人作鉴，乃见吉凶，因此有《金鉴录》的撰述。玄宗已渐渐入迷，哪里还知借古证今呢？
朔方节度牛仙客，自判官累次递升，李林甫欲引为臂助，屡向玄宗前说项。玄宗拟召为尚书，张九龄又谏阻道：“尚书系古时纳言，不宜轻授，仙客恐难当此任。”林甫面驳道：“仙客具宰相才，何止尚书。”玄宗遂加封仙客陇西县公，将加大用。林甫又引萧炅为户部侍郎，萧本无学术，尝读伏腊为伏猎，中书侍郎严挺之，语九龄道：“何来伏猎侍郎，混杂省中？”九龄因劾炅不学，出为岐州刺史。林甫怨九龄兼怨挺之。会挺之妻被出，转嫁蔚州刺史王元琰，元琰坐赃犯罪，下三司按鞫，挺之却替他营救。林甫谓挺之私袒元琰，应使连坐。玄宗转问九龄，九龄道：“元琰纳挺之出妻，还有甚么情谊？想是赃罪未实，所以秉公辨诬。”玄宗微哂道：“世间恐无此好人，朕闻挺之虽然离婚，近复与前妻有私，因此出来帮忙。”想是林甫捏造出来，但挺之不自远嫌，亦应使人动疑。九龄不便再言，只好转浼裴耀卿，代救挺之。耀卿乃代为申请，林甫乃上言：“耀卿九龄，俱系朋党。”于是耀卿调任左丞相。九龄调任右丞相，并罢政事，贬挺之为洺州刺史，流王元琰至岭南，升任林甫兼中书令，召入牛仙客为工部尚书，同中书门下三品。制敕既颁，林甫顾语僚吏道：“九龄尚得为右丞相么？”又语诸谏官道：“今明主在上，群臣乐得将顺，何苦多言。且诸君不见立仗马么？食三品料，一鸣即斥去，追悔何及？”台官乃相戒勿言。补阙杜进，独上书言事，被黜为下邽令，自是言路闭塞。仙客由林甫引进，当然唯唯诺诺，不敢发言。
监察御史周子谅，本九龄引进，因见林甫专政，仙客阿私，遂觉愤愤不平，当即呈上弹文，明劾仙客，暗斥林甫，说得异常激烈，且引谶书为证。玄宗大怒，召入子谅，搒掠殿下，绝而复苏。再命加杖朝堂，流戍瀼州。可怜子谅杖创累累，途次又受监吏虐待，勉强行至蓝田，不胜痛楚，宛转毕命。林甫又构陷九龄，说他所举非才，且或有主使等情，乃更贬九龄为荆州长史。九龄籍隶曲江，夙长文事，态度风雅，品行端方，既以直道见斥，仍然随遇而安，无戚戚容。晚年以文史自娱，不谈朝政，卒年六十八，追赠荆州大都督，谥曰文献。玄宗虽信任林甫，疏斥九龄，但心中犹尝忆及，每用人进士，必问左右道：“风度可似九龄否？”后因安禄山叛乱，玄宗奔蜀，乃悔不用九龄言，为之泣下，并遣使致祭曲江。开元后，世人都称九龄为曲江公。九龄弟九皋，官至岭南节度使，子拯亦仕至太子赞善大夫，均有令名，这且慢表。
且说李林甫既排去九龄，遂与驸马都尉杨洄密商，乘势易储。洄因入谮太子及鄂王光王，与太子妃兄驸马薛鏽，阴构异谋，势将起事。玄宗查无证据，几不复问。洄不禁情急，忙向林甫问计。林甫授他密谋，令转告惠妃。惠妃大喜，即遣人召太子二王，诡称宫中有贼，请即衷甲入防。太子二王，不知是诈，竟依言进去。惠妃亟白玄宗，只说他串同谋反，衷甲入宫。玄宗遣内侍往探情状，果如妃言，恼得不可名状，立召林甫入商。林甫淡淡的答道：“这系陛下家事，非臣所宜豫闻。”想是从许敬宗处学来。玄宗乃立书手谕，废瑛瑶琚并为庶人，流薛鏽至瀼州，寻且赐三子自尽。鏽本尚玄宗女唐昌公主，诀别至蓝田，亦由中使传敕，勒令自杀。瑛琚好学有才识，无罪致死，远近呼冤。瑛舅家赵氏，妃家薛氏，瑶舅家皇甫氏，连坐谴谪，共数十人。惟瑶妃家韦氏，因妃贤得免。小子有诗叹道：
父子由来冠五伦，如何一日杀三人？
可怜龙种遭残戮，不及民家骨肉亲。
太子瑛既死，武惠妃与李林甫遂谋之寿王瑁为太子，究竟瑁得立与否，容至下回说明。