当台儿庄大捷的消息传向全国、全世界时，中国人民为之欢呼，又是庆祝又是游行，把一个又一个活动开展得有声有色，这是后方的事。作为抗战的大后方，他们应该这么做，为前方抗日英雄们取得的胜利而高兴，也为前方抗日英雄的悲壮而哭泣。把抗战前方同抗战后方连在一起，把整个中华民族的心凝聚在一块，这是一件很有意义的事。
台儿庄取得重大胜利后，鲁南地区战事仍然吃紧。参加台儿庄作战的各个部队，并没有得到充足的休整，他们没有时间来庆功，更没有时间坐下来享受胜利后的轻松和喜悦。
绝大多数参战部队，甚至还来不及擦一擦脸上的血迹污垢，又上了战场。
鲁南的初春依旧很冷，连续作战三四个月的战士，有很多没有洗过热水澡，有的连衣服都没换过一件，身上一会儿汗一会儿冰的，虱子满身爬。这都不在话下，中国人自古以来就能吃苦，现在他们想的最迫切的问题是如何打败日本鬼子。其他的事以后都好说。
矶谷廉介的第10师团在台儿庄没有被全部消灭，残余日军败退下来，一直退到峄县、枣庄一带，他们在峄县、枣庄占据有利地形，据城而守，抵挡住中国军队的乘胜追击。
中国军队按照第五战区司令长官李宗仁的命令，朝北追击败敌不过六七十里地，便被溃退的日军阻挡在峄县、枣庄的外围。还在矶谷师团进攻台儿庄之前，敌人便在这个地区设立了后方基地，摆放了一定的兵力。
汤恩伯的第20军团在台儿庄外围野战的时候，根本没有对峄县、枣庄动手，以致造成目前的局面。
中国军队追击到峄县、枣庄附近，抢占外围的有利地形，控制三五处制高点，如城东的双山、姑嫂山，把守住南面的天柱山和西面的八里屯。
峄县地形易守难攻，它的南面是平坦的开阔地带，日军正是利用这个地形，在峄县南面、台枣支线正面和两侧构筑工事，郭里集附近有敌炮兵阵地，它的东面也有敌军一部占领阵地，枣庄附近有敌机着陆场。
第52军在关麟征军长的率领下，奉命沿台枣铁路支线向峄县方面攻击，其野炮1营向九顶山以北各村庄实施轰击。第52军攻击的重点指向九顶山日军阵地。九顶山是一座东西向的岩石山，没有草木，东北方向的坡度比较缓。第2师朝九顶山以西攻击，第25师向九顶山东端以北各村庄攻击。日军居高临下，白天仰攻目标暴露，难以取胜。第2师决定采取夜袭，从几个方向同时进攻，出敌不意，展开近战。经过一夜激战，九顶山东半部敌阵地被第2师占领了，师长郑洞国亲自上山，督促部队继续攻击。军长关麟征下午也上山来，命令炮兵集中火力支援第2师作战。
与此同时，峄县南面台枣铁路支线的日军也向第85军开展攻击，日军出动大批战车和装甲车，关军长命令野炮、山炮向进攻敌军轰击。在步兵、炮兵协同下，日军的攻击受挫。在这时，敌人的炮兵也不断地向第52军指挥所开炮，把九顶山上的石头炸崩到天上，双方开始炮战，一直打到下午4点。
就在下午4点多，关麟征军长和郑洞国师长他们在山顶听见飞机轰鸣，抬头朝天一看，是9架中国编队飞机从南向北飞到枣庄上空投弹，枣庄顿时被炸弹的烟雾笼罩。这是抗战以来，第一次看到中国飞机编队向敌人投弹轰炸。
第52军和第85军向日军进攻取得突破，两天来占领了多处敌军的阵地。但是，日军凭着自己的机械装备化和大量援军一路奔驰过来，朝第52军实施包抄计划。关麟征军长判断，这是日军增援第10师团的部队，为避免损失，中国军队立即调整部署，构筑防御阵地，与敌形成相持状态。
在临沂方向，曾被张自忠、庞炳勋击败的板垣征四郎绕道南下，想同矶谷师团的残部会合在一起。敌军第5师团主力南下，有向第20军团侧背攻击之势。汤恩伯急忙命令第52军、第85军撤到邳县以北，准备迎击板垣第5师团。
矶谷廉介是不服输的，台儿庄这口恶气他是咽不下去了。就是败退，他也不想往后退多远，目的是等待援军，伺机反扑，报台儿庄之仇。日本大本营不服气，他们气得全身发颤，这还了得呀，敢在大日本帝国头上动土，竟打死我大日本皇军万人之多。但他们对外装得很平静，硬着头皮对外宣传说，台儿庄不是一个败仗，只不过是指挥官的一次小小的失误，而日本精锐部队的第10师团和5师团的余部，不是溃败逃跑，而是做新的战略转移。
尽管日军统帅部装出一副无所谓的样子，但恼羞成怒的日本政府立刻召开紧急会议，会议向日军统帅部表示：日本政府不能蒙受如此羞辱。言下之意，就是让日军统帅部对中国进行报复。
其实，日本天皇早在1938年2月16日的御前会议上曾说过，在8月以前绝不向新地区发动进攻。矶谷师团进攻滕县的时候，就是根据这个精神划定了一个界线。是矶谷狂妄自大，自不量力，作孤军深入的尝试，所以付出了巨大的代价。台儿庄日军惨败后，日军大本营已经无法再考虑战略上深入的问题了，日本天皇的话也只能当耳边风。他们现在的当务之急，必须立刻设法击败中国军队，以挽回大日本皇军天下无敌的声誉。
台儿庄的失败，日军第10师团和第5师团惨败的事实，最尴尬的当数华北方面军最高指挥官寺内寿一和第2军统帅西尾寿造，这两个师团的出征，全是他们鼓捣出来的。他们向大本营强烈要求参战，开始的时候大本营是不批准的。大本营从战略全局考虑，认为在中国战线拉得过长、过宽，日军不仅兵力不足，物资财源也感到吃力。他们想稳定、巩固占领区以后，再逐步推进。但是，日军在中国各战场的胜利助长了日本军人的嚣张气焰，他们在中国肆意扩大战果，用胜利的成果推着日本大本营朝前走。在华北方面军寺内寿一大将和第2军统帅西尾寿造的一再要求下，大本营方才同意第10师团和第5师团出兵山东。
日本最精锐的部队第10师团和第5师团，为什么会失败呢？华中地区的日军无论从人力、装备还是将领等方面，远不如矶谷和板垣。但是人家不仅攻克了上海，还占领了南京。而进攻山东的铁军，向鲁南进攻，只占领了一个滕县。滕县同上海、南京是不能比的，一个天上，一个地下，说不出口啊。况且，守卫在滕县、临沂的中国军队，清一色的杂牌，连中国的蒋介石都看不起他们。什么是杂牌军？就是手里提着猎枪，跟烧火棍子差不多，腰间挂上两颗手榴弹，背上背把钢刀，纯粹是一群乌合之众。
日本的第2军旗下的第5师团与第10师团，可以说是日军的精英，大多数主战的少壮派都在这两个师团里，战无不胜。日军华北方面军的寺内寿一大将正是看到这两支部队的实力，才同意第2军进军扫荡的建议，还鼓动他们不要听大本营的什么计划，我们大日本帝国在中国没有禁区，中国每一寸版图，都任我铁军践踏。所以他明确指示，日军不能画地自限。矶谷师团的孤军深入，不是自作主张，而是有指令的。
中国兵书有句名言，叫“知彼知己，百战不殆”。日本大本营和各方面军的指挥官只看见了自己的强大，根本不了解他们的对手。在中国这块版图上，他们的对手当然是中国人。跟对手打仗，不仅要了解对手的当前状况，还应了解对手的历史文化背景。
在中国的历史上，外国列强和外民族的入侵，可以说数不胜数。但有谁把中华民族灭亡了呢？没有。中华民族具有优良的民族传统，自古以来，他们就热爱和平，注重邦交友善，是一个典型的勤劳奋发的民族，常常温和得像只绵羊。但是当国外强盗进入家园、屠杀同胞的时候，他们便会奋力反抗，哪怕是空手对利炮，中华民族也在所不惜。中华民族自古以来就具有不畏强暴的精神。
抗战时期的中国军队的所谓杂牌军就是如此。他们面对日本坚船利炮，凭手中的大刀，为国家、为民族用血肉身躯来抵挡日军的坦克、大炮。还有一点让日军大本营没有想到的是，第五战区不同于上海，也不同于南京，此时的中国军队，经过蒋介石枪毙不抵抗将领韩复榘以镇军威之后，上自战区司令长官，下至普通士兵，无不受到震动，士气大振。特别是中国普通士兵，他们看到了长官的决心，也就看到了希望。
寺内寿一和西尾寿造为了挽回脸面，为了不被其他方面军耻笑，尽快摆脱尴尬的局面，急需打个胜仗。所以他们尽其所能，火速为第5师团和第10师团补充兵力和装备，让他们赶快夺取台儿庄，消灭鲁南地区的中国军队，好在短时间内给日本大本营和日本政府一个交代，从而挽回脸面。
台儿庄大捷胜利的喜讯刚刚传遍全国，各大城市的庆祝活动还没有结束，中国民众的脸上还挂着欢笑。这是一个很关键的时间，如果在这样一种气氛下，把台儿庄给丢了，岂不是扫了全国民众的兴，打击了全国抗战的热情？不但如此，还会遭到一片谩骂。李宗仁不能败，他要进一步巩固台儿庄的胜利成果，让台儿庄胜利的光环在中国的天空上再次闪耀。
李宗仁头脑是清醒的，他对整个抗战局势作过分析。台儿庄要失守，整个鲁南都守不住。那是以后的事，现在台儿庄不能丢，坚决不能丢。出于国家、民族的考虑，出于政治影响的考虑，也出于自己名誉的考虑，台儿庄坚决不能丢。
于是，第五战区发布命令，让把日军残部围堵在峄县、枣庄的中国军队向残敌发动攻击，不给日军以喘息的机会，更不能让败军坐在县城等待援军。必须在敌人援军没有抵达之前，打垮敌人，或者再进一步驱赶他们。让他们离台儿庄、徐州越远越好。
所以，台儿庄以北的中国军队十分努力，战斗打得也很激烈。虽说日军第10师团在台儿庄已经战败，但这支部队还有实力，加之他们后面不断有联队的兵力开过来，对中国军队的攻击进行着顽强的抵抗。这也是矶谷廉介死要面子的表现，不然他真是不好向上交代。直到日军第5师团南下，交战双方才形成对峙状态。