日军第10师团大败台儿庄，第5师团受挫临沂城下，日本的两支王牌部队的失败，使日本大本营处在尴尬境地。但同时也让日本大本营明白一个道理，仅凭一两个师团是不能对付中国军队的。虽说中国军队武器简陋，装备低劣，但具有兵力人数的优势。以几万兵力去攻击几十万的中国大军，无疑是以卵击石。即使能取得局部胜利，也必然付出沉重的代价。
以消耗人力资源取胜的战争，对日本这个小国来说是致命的。
两个师团在徐州战区的失败，说明徐州不是轻易就能到手的，况且中国军队在台儿庄取得胜利，士气旺盛，又有大批精锐部队朝徐州集结。这时的徐州今非昔比，调集重兵从四面合围，也难以打下徐州，贯通津浦铁路线。日军大本营的作战意图又不想过早暴露，以免打草惊蛇，让中国60万精锐部队给溜掉喽。狡猾阴险的日军大本营，为实现自己的狼子野心，从中国战区各个战场上抽调13个师团，共30万人马，兵分6路向徐州实施大包围战略计划，企图歼灭第五战区的中国军队。
日军在这次行动中，所抽调的全是派遣到中国的最精锐部队，并配有飞机、重炮、坦克等各种重型武器，这是一个绝好的机会。他们按照总体计划，在距离徐州很远的区域开始拉网，构筑无数个包围圈，逐渐向以徐州为中心的地块收缩，以便在徐州起网，捕捉大鱼。
给日本大本营创造这个绝好机会的就是中国军队的台儿庄大捷。台儿庄的胜利，大大鼓舞了全中国民众的抗战信心，同时也鼓起了国民政府最高统帅部的勇气，特别是蒋介石的雄心。蒋介石居然同日军的作战计划针锋相对，也调来大批援军，想在徐州地盘上和强大的日军决一雌雄。
蒋介石的举措，日本大本营看得很清楚，他们暗自高兴。能在中国战场上寻找到这样一次战机的确不容易，如果能把这场战役打好，彻底消灭中国军队摆放在第五战区的60万精锐部队，那么中国战区的问题便迎刃而解了。这正是日本政府和日本天皇可望而不可求的战机。所以，日本天皇得知蒋介石的战略部署时，喜出望外，要求日军参战部队全力以赴，不让徐州地区的中国军队一人漏网。
中国军事最高统帅部不是没有看见日军的企图，后来是完全看见的，日军南北增兵，以达到自己的目的，越来越明显。如果徐州战区能按照机动防御和运动战的制敌方针，确保主动地位，在鲁南方面备有强大的预备兵团，争取在日军运动中给予打击，并固守运河线；再有预备兵团放在徐州以西，以应付鲁西和皖北的突变，也就是说加大机动和总预备队的兵力，减少一线兵力，那么徐州的仗就完全不一样了。
然而客观情况却相反，李宗仁为保险起见，把所有的部队全都投到第一线去了，作持久的抵抗部署。比如，张自忠、李仙洲在临沂东南地区牵制该方面的日军；庞炳勋部则调到郯城地区整补，并掩护陇海铁路东段的安全；孙连仲和第75军在北面之线占领纵深阵地；于学忠的第51军在孙连仲部的右方阵地；孙震的第22集团军在韩庄南岸守备；汤恩伯控制于四户镇，作为机动的打击兵团；卢汉的第60军在台儿庄南集结；樊崧甫的第46军以1个师放在徐州，其余两个师在贾汪、利国驿附近；第五战区总预备队的5个师，放在砀山、商丘一带。
徐州第五战区不仅把所有部队投放在第一线，更为错误的是同日军进行延翼竞赛，其战线西起微山湖，经白山、獐山、峄县南侧、兰陵镇、向城东南，一直沿河东岸码头镇到郯城一线，绵延数百公里。这种延翼竞赛，必然导致第五战区庞大兵力投入第一线。而日军机械化程度高，他们快速灵活，这样中国军队便处在被动地位了。
徐州地区的战事发展到5月初，整个战局发生变化。日军采取由徐州远后方实行战略迂回的计划就要实现，北面由济宁过来的日军已到达金乡、鱼台，并以第14师团渡黄河向菏泽方面南下。在南面，日军由怀远过来的兵力，在攻取蒙城后，向永城推进，以南北钳形截断徐州西边的陇海路，彻底包围徐州以东鲁南地区的中国军队。
以上情况不难看出，在徐州地区的东南西北各方向上，中国军队全在各自的阵地上同日军作战。他们得不到援军的支持，徐州战区又没有机动兵力，所以中国军队只好在阵地上苦撑苦熬，被日军缠住、咬住，处境非常危险。
这个时候的日本大本营没有开始时的遮遮掩掩了，他们不怕暴露自己的意图了，狼子野心已大白于天下，现在是快速推进、四面合拢的时候了，必须用快刀斩乱麻的方式，把中国军队围困住，然后给予全部消灭。
日军先后到达的部队已有十几万人，中国军队在战场上就发现许多日军部队的番号，如北面战场除矶谷第10师团、板垣第5师团外，已发现有第14师团、第103师团、第105师团、第110师团和山下、酒井等兵团；在南面战场，除原有的日军第3师团和第9师团外，又出现了第101师团、第102师团、第116师团、第107师团的各一部。
显然，在强大的日军包围下，第五战区司令长官李宗仁如果不迅速采取措施，那么投放在鲁南地区的10多个军就有在徐州地区遭受全部歼灭的危险。实际上，武汉最高军事统帅部和第五战区都作出了相应的对敌作战方案，只是各参战部队在战斗和战术上无能为力，不能完成战略所赋予的任务。各参战部队的这种状况，并不是他们作战不努力，而是各部队经过几十天的战斗，死伤相当惨重，虽然人数上还有相当大的优势，但战斗力是十分低下的。
不要说战斗打到这个时间段上了，就是刚取得台儿庄胜利，全军士气旺盛的那段日子，也没有一鼓作气地把台儿庄附近峄县、枣庄地区的日本败兵彻底歼灭。更别说日军得到增援，补充了力量，中国军队连续作战已经疲惫至极了。
中国最高军事委员会的愿望，同前线部队的作战能力及完成最高统帅部战略任务的能力相差甚远。蒋介石忽视这个事实，对前线作战部队的无能为力感到愤怒，时常发泄自己的不满情绪。时任国民党军令部第一厅厅长的刘斐，对蒋委员长说明这个问题，他当时还举例说，苏北的日军用在一线的兵力不过只有3000来人，淮北的日军第一线的兵力也不过5000多人。疲惫之师你埋怨没有用，战争有战争的规律，愿望总归是愿望。前方将士已经尽到自己最大的努力了，他们付出了巨大的牺牲，能把战场维持到今天这个局面就算很不错了。该埋怨受指责的应该是指挥系统的决策。
直到这时蒋介石仍不死心，他认为徐州第五战区有他几十万精锐部队，日军的大合围又能怎样。他对军令部次长林蔚和第一厅厅长刘斐说，你们去前线要向各级将领讲明白，要他们贯彻统帅部的命令。只要大家齐心，首先各个击破淮北、鲁西方面的敌人，再对鲁南转移攻势，胜利是有把握的。
林蔚和刘斐去了徐州，他们把蒋委员长的最新部署传达给李宗仁。刘斐问李宗仁抽没抽调机动兵力，这话很有些埋怨的味道。李宗仁说，部队拉上去了，一个萝卜一个坑，是那么容易能抽下来的？
就在林蔚、刘斐去徐州传达蒋委员长的指示的第二天，两人醒来，就回不去了。砀山东面的黄口车站已被日军占领。徐州第五战区后方唯一的交通大动脉被日军截断了，徐州已处在敌人的包围之中。
李宗仁沉不住气了，他放弃自己的主张，把各个集团军总司令和有关的军官招到台儿庄，听林蔚次长和刘斐厅长传达蒋委员长关于调整部署的决定：鲁南地区的新阵地线为右起窑湾、猫儿窝，沿运河南岸亘韩庄之线，各部队相机转于新位置，逐步加强工事固守，但对邳县城、滩上镇、加口圩、禹王山、台儿庄等各前进阵地不可过早放弃，抽调李延年队第2军及汤恩伯军团炮兵第4团及一部分重炮连，即日到徐州集结待命，尔后由汤恩伯指挥先击破由淮北向徐州西侧进犯之敌，留置各部队直接归孙连仲指挥。接着李宗仁以司令长官的名义分别任命孙连仲、于学忠为鲁南兵团总、副指挥官，汤恩伯、刘汝明为陇海兵团总、副指挥官，韩德勤为苏北兵团总指挥官，廖磊为淮北兵团总指挥官，李品仙为淮南兵团总炮兵指挥官。李宗仁对主要指挥官指示，如陇海路被截断，鲁南兵团可在陇海兵团与淮北兵团掩护下由永城、蒙城向太和、亳州转进。