还是在6月18日这一天，西摩的联军得到情报说，义和团又在破坏英国人修好的那段通往天津的回头路。中国人正在放火烧毁供联军后撤的各个桥梁，撬掉铁轨，拧开螺栓，或者向铁轨上倾倒一堆一堆的碎石。有的地方，义和团只是把螺丝拧松，铁轨仍留在原地。列车在运行时很难发现这些线路受破坏，因此极容易使列车出轨。为了保住退路，德国人又被指派去修复和守卫通往天津的那段铁路。
19日，与天津后方基地方面失去联系已达6天之久的西摩联军完全断绝了给养。西摩既已认识到进京无路，又意识到他们离开后方基地越远，他们全军覆没的可能性就越大，于是西摩下令联军沿北运河向天津方面撤退，分散的各国陆战队立即向杨村集结。19日凌晨4时，原本气势汹汹欲进北京的八国联军终于承认进军北京的计划失败，开始从杨村向天津总撤退。
西摩的败退更加激励了义和团，他们用尽一切办法消灭联军，封锁铁路，切断从铁路来的一切支援。他们从每一处河堤、每一道墙壁、每一个村庄大举进攻。联军在汉沟、郎园、曲家湾、赵庄子等地都遭到义和团不同程度的打击，致使西摩联军白天不敢行动，只好选择夜间行军。