第二年春天,叛军发生内讧,安禄山的儿子安庆绪杀了安禄山,自己称帝。要消灭叛军,这本来是个好机会。但是肃宗急于回长安,不听李泌的计划,把郭子仪的人马从河东调回,强攻长安,结果打了一个败仗。后来,郭子仪借了回纥(我国古代北方民族之一,纥音hé)的精兵,集中了十五万人马,才把长安攻了下来。接着,又收复了洛阳,叛乱头目安庆绪逃到河北,史思明也被迫投降。
唐军收复了长安和洛阳,唐肃宗觉得心满意足,用骏马把李泌接到长安。
唐肃宗的宠妃张良娣和宦官李辅国,嫌李泌权大,早就互相勾结,想把李泌除掉。
太子李俶发现张良娣他们想害李泌,就告诉了李泌。李泌说:“不打紧。我和皇上有约在先,等收复京城,我就归山,就没有事了。”
这回,李泌见唐军收复两京,算是了却一个心愿,决心离开朝廷。
有一天晚上,唐肃宗请李泌喝酒,并且留他一起睡。李泌趁机会就对肃宗说:“我已经报答了陛下,请让我回家再做个闲人吧!”
唐肃宗说:“哎,我和先生共了几年患难,现在正想跟您一起享受安乐,怎么您倒要走了呢?”
李泌恳切地说:“我和陛下结交太早;陛下太重用我,信任我。就是因为这些缘故,我不能不走。”
唐肃宗说:“今天先睡吧,隔天再说。”
李泌说:“今天我跟陛下坐在一个榻上谈话,你不答应我。将来到了公堂上面,就没有我说话的余地了。如果你不让走,那就等于杀我了。”
唐肃宗虽然不愿让李泌离开,但是经不住李泌一再请求,只好同意。
李泌到了衡山(在今湖南省),在山上造个屋子,重新过他的隐居生活。
李泌走了以后,唐肃宗身边少了一个正直的大臣,李辅国等一批宦官的权力就大起来了。