李林甫原是吏部侍郎，奸诈狡猾。他善于拉拢宦官和妃嫔，故而对皇帝的一举一动了如指掌。因此他每次都能揣测到皇帝的心思而去奏旨，深得唐玄宗的赏识。当时宰相有乏人，张九龄是唐朝有名的大诗人、大学者，侍中裴耀卿也是朝廷重臣，只有李林甫资历尚浅，又不学无术，只会迎合拍马，因此对这两人很是嫉妒。裴耀卿与张九龄友善，李林甫也就把两人一起视为眼中钉。那时玄宗在位已久，怠于政事。每逢商议政事，张、裴两人事无巨细都与皇上据理力争。狡猾的李林甫则利用各种机会，一面巧伺上意，一面寻端觅衅，准备排挤张、裴二相。
开元二十四年（公元736年）十月，唐玄宗巡游东都洛阳后，欲返回西京长安。裴，张二相认为时值三秋农忙时节，皇上返驾，沿途接待的负担很重，必将影响农忙，因此提议到了冬天再返京师也不迟。李林甫却献媚道：“臣下并没有病痛，只是有事想单独上奏。长安、洛阳就像是皇家的东宫和西富，皇上御驾往来，难道还要等待什么时机吗？假使怕妨碍农事，那就特别恩准免除所经过地方的租赋也就是了。”玄宗闻听，龙颜大悦，“即驾而西”。李林甫这个马屁，可是拍得巧妙之至。
李林甫曾引荐萧旻为户部侍郎。萧旻不学无术，有一次在与中书侍郎严挺之“同行庆吊”时，读《礼记》中一句“蒸尝伏腊”为“伏猎”。严挺之故意再问一次，萧旻竟仍旧错读，严挺之深感遗憾，就对张九龄说：“朝中竟然有‘伏猎侍郎’这等人物。”张九龄以“不学无术”为名弹幼萧旻，贬为岐州刺史。李林甫怨恨严挺之，暗中寻衅，欲加陷害。严挺之的前妻被休后嫁于蔚州刺史王元琰。王元琰贪赃犯法，进了大牢，严挺之却设法营救他。李林甫使人奏告玄宗，说严挺之私袒王元琰，应该连坐。张九龄为严挺之辩解，认为其中不应会有私情存在。玄宗却微笑道：“卿不知，虽离之，亦却有私。”张九龄不便再言，只好转托裴耀卿代救严挺之。李林甫乘机上言：“耀卿、九龄都是朋党。”玄宗早已疏薄张九龄，于是因朋党之嫌而将张、裴两入俱罢免知政事的职务，贬严挺之为洛州刺史。
在李林甫为相的19年中，玄宗对他始终非常信任。朝中再没有人敢直言谏上。
