蔽在村庄里的日军明明看到中国军队在转移，但在众寡悬殊的情况下，只能眼巴巴地屏息目送着，而不敢进行追击。

日军在占领徐州之后，发现自己得到的仅仅是一座空城，才开始调集力量沿陇海线追击。七十四军起初的任务就是在徐州以西的砀山一线阻击追敌。5月13日，五十一师一五一旅乘火车抵达砀山，五十八师一七四旅进驻丰县，从而构成了一个犄角状防御阵形。

砀山是徐州西撤部队入豫所取的最近道路，自然也是敌我双方争夺的要地。一五一旅到砀山的当天，便有日军小股部队在骑兵装甲车的配合下，发动了试探性攻击。一五一旅也不含糊，旅长周志道当即派三〇二团予以截击。由于紧急情况，三〇二团团长纪鸿儒挑选了一百五十名精兵，由少校营附刘文锋率领，星夜向日军发起突袭。

在缺乏反坦克炮和战车防御炮的条件下，中国军队对付日军坦克的主要办法，是一边组织神枪手对坦克顶盖上的暸望孔进行射击，以转移其视线，一边派敢死队员跃进前扑，将捆绑起来的集束手榴弹塞进坦克履带。采用这种办法，刘文锋率队炸毁了四辆装甲车，并歼敌一百，但出击官兵们也大多倒在了战场上，到战斗结束时，一共只有20人得以生还。

5月14日，从永城北上的日军大部队来犯，正好一五三旅也乘车及时到达砀山。副旅长张灵甫一下车，便指挥部队加入阻击，五十一师以基本完整的阵容投入战斗。经三日激战，该师两名营长一死一伤，营长以下官兵伤亡两百余人。

在砀山东北的丰县，五十八师一七四旅也遭到日军的猛烈进攻，那边的伤亡更大，营长同样是一死一伤，主力团伤亡近半。

撤退之不易，七十四军曾经在上海和南京有过刻骨铭心的体验。官兵们都十分清楚，只有确保砀山、丰县，才能把西撤大军的损失和牺牲减到最低程度，因此无论压力多大，大家都一步不退。