鉴于粮草不济和前秦的出兵，桓温最终决定撤退。
九月十九日，晋军放火烧毁了船只和辎重，自陆路退兵。
由于担心敌人在河流上游投毒，桓温军一路凿井而饮，自东燕而至陈留，七百里安然无恙。晋军将士都以为，燕军已经放弃了追击，人人都松了一口气。他们并不知道，自己加快脚步走向的正是慕容垂为他们精心选定的埋骨之所。
晋军刚刚撤退之时，部将们都争先恐后想追击立功，慕容垂却认为不可。他认为桓温鉴于当年自灞上撤军导致的失败，一定会严加戒备，拣选精锐将士断后，此时追击未必能占得便宜。不如暂缓，让他们放松警惕，待他们精疲力竭之时再行出击。于是，老谋深算的慕容垂像一只狡猾的猫一样率领着八千骑兵蹑手蹑脚地远远跟在晋军的后面，等待着这只肥硕的老鼠因疲累而松懈下来。同时，他还派慕容德带着四千轻骑快马加鞭绕到晋军之前设下了埋伏。
