李林甫见他如同坐上直升飞机一般，心中自然恐慌，便和自己的心腹商量对策，给韦坚一个明升暗降。向玄宗提议，把韦坚升为刑部尚书，却夺去了他兼任的各路转运使、处置使等生财的职务。又把自己的亲信杨慎矜升为御史大夫，为下一步的大狱作准备。
杨慎矜本来是比韦坚还会替皇上生财的官员，韦坚所作所为还是效仿他的行为。但杨慎矜很识时务，皇上任命他当御史中丞，他却因这项任命不是李林甫推荐的，坚决不肯接受，他知道李林甫的潜规则：凡是不经他推荐而晋升的官绝不会有好下场。李林甫见他如此懂事，也很喜欢，便自己提议让他担任御史中丞，并让他监视韦坚的一举一动。
韦坚不是傻瓜，知道自己受了李林甫的害，却有苦说不出，总不会说人家给你升官反而是害你吧？但实际上就是这样。他也只能暗地里吐吐苦水罢了
天宝五年正月十五，韦坚和河西节度使皇甫惟明夜游，一起到景龙观一个道士的房里，恰好遇到太子李亨，三人便在房里叙叙旧，被随后监视的杨慎矜发现，报告给李林甫。李林甫大喜，认为等待已久的机会终于到了，便向玄宗报告：说韦坚是国戚的身份，不该和驻外的节度使勾结，这一定是密谋起兵拥戴太子夺取皇位。玄宗果然相信了他的话，把韦坚贬为缙云太守、皇甫惟明为播川太守，不久又派使者在四川杀死皇甫惟明，并抄没他的家产，韦坚和他的弟弟、儿子都贬到远方州郡。李林甫乘机又把自己的政敌李适之也打进这个案子中，也贬到了宜春。到十月份，李林甫又派自己的亲信监察御史罗希奭到这些人的流放地，一一把这些人杀死。韦坚不仅家破人亡，而且受他牵连的朝廷官员有十多人。太子李亨为了表明心迹，不得不上书玄宗，和妃子韦氏离婚。
李林甫大兴此狱就是想扳倒太子，玄宗也不是没受他的迷惑，但高力士却在玄宗跟前力保太子忠谨无二，李亨又离婚以明志，玄宗也就没生易储的年头。
李林甫一计不成，自然只好升二计了。李亨有个姓杜的良娣（低正妃一等），她父亲和女婿柳勣不合。柳勣是个阴险浮躁的人，他不知怎么知道了李林甫的心事，想借此事升官发财，便诬告他岳父要和太子谋反。李林甫把这位杜老头抓到皇家监狱里（诏狱）里，也不给他辩解的机会，就“赐死”了。倒霉的李亨只好再次忍痛割爱，把杜良娣休了（出良娣为庶人）。李林甫一不做二不休，把平素自己讨厌的官员名臣李邕和裴敦复等人一起株连到此案中杀掉，天下冤声一片。杜甫就写了一篇怀念李邕并为他鸣不平的诗。不过这第二计还是没有成功，由于有高力士在玄宗面前死保太子，太子的地位虽然摇晃了一阵，还是稳住了。
二计不成，自然还得生“三计”了。要说李林甫也真有“锲而不舍”的精神，可惜世上的事也不是“有志者事竟成”的。
不久，李林甫又让济南别驾魏林密告陇右、河西节度使王忠嗣：说自己在朔州刺史任上，王忠嗣任河东节度使，曾对自己说：他（王忠嗣）小时和忠王即太子一起在宫中长大，他要起兵辅佐太子夺取天下。玄宗并不糊涂，听说后马上反驳说，我儿子在深宫，怎会和外人勾通，这话一定是假的。虽如此说，还是宁可信有，把王忠嗣赐死，幸亏王的部将哥舒翰新得帝宠，在玄宗面前一步一叩头，痛哭流涕，愿以自己的性命为主将担保，并用自己的官爵为主将赎罪。玄宗这才只是把王贬官了事。
这期间李亨吃够了李林甫的苦头，自己还不明白是怎么回事。他年纪轻轻的头发就全白了，宫中荒芜凌乱，无心收拾，日日怕“赐死”之至。这期间若非高力士极力保护他，也真难说他是否能熬得过去。
“一而再，再而衰，三而竭”，连兴三场冤狱，却没能撼动太子的地位，李林甫也没辙了。他又转而继续用冤狱打击给自己构成威胁的人。这次主要是窝里斗。
先是杨慎矜发动了韦坚的冤狱，可在审案的过程中，他发现皇上无意易储，便持观望态度。这一案主要是李林甫的亲信王鉷、吉温和罗希奭主持。其中吉温和罗希奭是李林甫最忠心也最得力的酷吏，号称“吉钳罗网”。以后又引入杨贵妃的哥哥杨国忠。李林甫对杨慎矜的中立态度很不满，再加上他逐渐得到玄宗的赏识，对自己的首相地位构成威胁，便有意将之除掉。杨慎矜和王鉷的父亲原为中表兄弟，王鉷就是他的表侄，两人私交一直很好，后来却因故交恶。李林甫和王鉷便合谋以杨慎矜家藏“谶书”为由，诬告他想推翻大唐王朝，兴复隋室，原来杨慎矜是隋炀帝的玄孙。玄宗震怒，严旨一查到底。结果不仅杨慎矜一家兄弟皆被赐死，株连的群臣遍及朝野。
史仲文先生主编的《中国通史》称：“李林甫屡起大狱，别置推事院，以杨钊为御史，与酷吏吉温、罗希奭共同制造冤狱，所挤陷诛夷者数百家。”至此李林甫已和来俊臣的行径一样了。他在家中盖了一间像偃月的厅堂，号称“月堂”。他想对谁下手时，便住进去，筹思方略。一旦他笑着从里面走出来，京城中便要有许多家族破碎了。他儿子将作监李岫见他如此疯狂，也不免心中畏惧，恐怕有报应临头。一天和李林甫在后园散步，看到一个家人拉着一辆重车走过，便借机跪下对李林甫哭道：“大人，将来有一天