华毕成和李长官都认为中国军队在徐州同日军作阵地相持的消耗战是愚蠢的。并指出：“以中国军队的装备，只可相机利用地形条件，与敌人作运动战。”

但由于蒋委员长和军委会的部分高官陶醉于台儿庄的胜利中，李长官和华毕成提出撤离徐州的正确意见被否决。在蒋委员长的指挥下，五战区开始部署新的徐州会战。

吃一堑长一智的日军改变了他们的打法，以部分兵力在正面牵制五战区的中国军队，主力向西迂回，企图从侧后包围徐州，歼灭第五战区主力。

4月28日，日军第五师团分别从山东峄城(今属枣庄)和临沂西北的义堂地区南进，对中国守军第2集团军和第20、第3军团及第27军团、第59军实施牵制性进攻。守军顽强抗击，至月底，将日军阻击在韩庄、邳县(今邳州)和郯城一线。

5月15日，日军开始从南北两个方面向徐州西侧迂回包围。在南面，日军第九、第十三师团从蚌埠地区分别沿北淝河、涡河西岸北进，至23日，陷蒙城、永城后，向萧县、砀山进攻；第三师团由蚌埠进入大营集地区，向宿县进攻。

在北面，日军第十六师团由山东济宁渡运河，至24日，连陷郓城、单县、金乡、鱼台后，向江苏丰县、砀山推进；土肥原率领的第十四师团从河南濮阳南渡黄河，陷山东菏泽、曹县后，直插河南兰封。

第五战区在徐州附近地区进行了逐次激烈的抵抗，但未能挡住日军的攻势。

倒是第二战区利用华北日军兵力空虚的机会取得了一些战果，在第二战区的积极反攻下，失去友军支持的日军第二十师团被迫放弃了蒲州、芮城、平陆等地，在运城、河津、闻喜几处只留下了少量的部队，将主力退缩至曲沃、侯马、新绛地区固守。

由于第二战区部队破坏了铁路并炮击了日军的机场，第二十师团的补给完全中断。当时日军无任何兵力可供调动增援，不得不以空投进行补给，但飞机不足，无法满足一个师团的需要，最后逼得日军第二十师团不得不以抢掠民间粮食以及野菜、树叶、青草充饥。

由于华北日军主力南下攻击徐州，华北被日军占领的所有地区都呈现不稳，八路军在敌后十分活跃。由于兵力不足，华北日军只能被动地进行防御，完全没有大规模出击的能力，也就更谈不上攻击中国军队了。

前方越来越惨烈的战报不断传到武汉军委会蒋委员长的案前，徐州突然面临的严重危机，使他那因台儿庄的胜利冲得有点晕乎乎的大脑一下冷静下来。蒋委员长突然意识到：日军的意图是要围歼徐州中国军队主力。若是徐州这几十万精锐被日军吃掉，他蒋委员长还能拿什么来抗战？

醒悟过来的蒋委员长立即叫来何部长、小诸葛、陈辞修等人一块研究策划。日军的企图已经暴露，再死守徐州已不现实，陈辞修等人亦主张赶紧突围，决定放弃徐州。

由于日军已形成对徐州的四面合围态势，5月25日，中国最高军事会议决定放弃徐州。