却传来了北翼军队败退的消息张令徽首先被击败逃走，接着又是刘舜仁，郭药师听说后，只好撤军。

十二月初七日下午，蔡靖等燕山府官员们站在燕京东城墙上，眼巴巴地向东，朝着白河方向瞭望。白河距离燕京八十里路，但见白河方向空中，“尘埃如云气，遍空不可辨”。过了好大一会儿，忽见张令徽率军退回，接着刘舜仁也退了回来。傍晚时分，郭药师也率军退回。他们三人情绪“颇沮丧，互相诋诮”。据统计此战，郭药师最核心的硬军三百人，只活着回来一百二十人。

张令徽与郭药师矛盾很深，而且由来已久。当初，他俩在辽国做官时，张令徽官职一度曾在郭药师之上。投降宋朝后，郭药师不仅官位在张令徽之上，而且还受到宋徽宗宠幸，还得到二帅即童贯和蔡攸的赏识，这让张令徽很嫉妒。张令徽一想到自己备受冷落就怏怏不乐，负气不平。王安中在任时已有所觉察，曾向宋徽宗推荐过他，朝廷也曾委任他为节度使高官，但毕竟还是在郭药师之下，所以他心里一直很不平衡。

蔡靖见郭药师张令徽刘舜仁都败退而归，感觉形势不妙，于是率领燕山府监司来到城南门内开会议事。转运使吕颐浩建议，立即组建一支二千人的敢死队，然后打开城门，向南撤退。蔡靖说“此事要好好研究，深思熟虑，不可贸然开门。”提举官沈琯不赞成开城门。

蔡靖说道“现在大家先回去，可以与家人商议一下，不妨先送骨肉南归。”

蔡靖回到家，对许采和蔡松年说道“今天，我们在南门里开了一个短会，他们都想弃城南撤，你们看如何？”