台儿庄位于山东省峰县东南，与江苏省峄县相连。运河绕城而过，城墙以砖石砌成，远远眺望是一座不错的县城，因附近有煤矿，城外又有几处炼焦厂，所以商业较为繁盛。城内住有千户左右居民，又因当地石头多，居民不仅用来铺路，还喜欢叠石围墙，青石板铺就的街道不宽，可容马车通过。
正如李宗仁在回忆录上所说的，千户石垒民房，再加上第2集团军修筑的70余座碉堡，便成为守军的工事阵地。但是，在台儿庄这块弹丸之地上，无论你怎样构筑工事，都难以抵挡日军重炮和飞机的轰击。
事实确实如此。3月27日黄昏，日军开始进攻。在台儿庄外前沿阵地上的守军同敌人交火，不一会儿，便退到台儿庄主阵地上来了。顿时，台儿庄便遭到日军万发炮弹的狂轰滥炸，顷刻间码头、商铺一片火海，残垣断瓦把街道堵塞，守军伤亡惨重。
矶谷第10师团的进攻异常猛烈，他们改变了在滕县的作战方法，全部采取大规模的集团式的冲锋。当大炮停止时，步兵五六千人在几十辆坦克的率领下，一窝蜂地涌入台儿庄。那架势让人看见就全身发抖。
日军首先攻击的是台儿庄的正面主阵地。防守在台儿庄车站正面的是池峰城的第31师。池峰城的第31师在整个台儿庄大战中，充当了主要角色。在台儿庄大战开始前，池峰城率本师的第93旅对盘踞在峰县的日军据点实施佯攻诱敌，在向峄县敌军进行佯攻路上不时同日军发生冲突，好几支分队同敌人打得十分惨烈。佯攻诱敌任务完成得很出色，他们把日军主力吸引过来了。
现在日军正大举向主阵地猛烈进攻，池峰城师长命令全师官兵奋起反击。但是毕竟敌人火力强势，他们在坦克战车的掩护下，冲进庄内占据了一片民房。台儿庄的民房大多是石头砌成，守军没有平射炮，对石头房屋没有有效的攻击办法。冲进来的日军步兵以石头房子当碉堡，逐步扩大地盘。
第31师是很善于防守的，他们挖出许多宽大的壕沟，让敌人的坦克跨不过去。敌人步兵没有坦克战车的掩护，进攻相对来说要慢得多。这样他们就同进庄来的敌人短兵相接，逐屋逐院进行争夺。
在日军强大的炮火压制下，正面主阵地有多处被敌人突破。中国军队在庄内一退再退，有时为一座屋一座院落，争抢好几个来回。善于总结战斗经验的中国军人在肉搏争夺战中发现日军的飞机、大炮发挥不出自己的优势，倒是自己手里的大刀起了作用。
全师官兵发挥自己的长处，同敌人开展近战、夜战，想尽一切办法，用各种手段打击敌人。白天尽最大努力抵抗住敌人的进攻，夜晚以小分队的方式主动出击。在台儿庄形成白天敌人占领大片地盘，晚上又被守军收复回来的拉锯局面。
日军最害怕夜战，中国守军专门在半夜三更出动，摸黑夜袭，每次都有不大不小的胜利，一夜间，敌我双方几进几出，双方伤亡都不小。第2集团军参谋处长何章海回忆说：
在台儿庄大战中，中国军队的大刀发挥了很大的威力。有一名大刀队员，砍杀敌兵九人，也有砍杀五人的，参战的大刀队，平均每把大刀砍死敌人一个半。
第31师的官兵，用手榴弹和大刀同敌人血战了五天五夜。
大刀始终敌不过敌人的飞机、大炮和坦克，池峰城师长的官兵伤亡巨大，他的部队整班、整排、整连地轮番填了进去。进攻的日军每天都有增援，进攻的规模一次比一次凶狠，而守卫在台儿庄的部队只有靠减少伤亡来保存有生力量，得不到丝毫的增援。
台儿庄正面阵地的守军处在最艰难的关头，日军组织数百人的敢死队，在炮火猛烈轰击之后，呼啦啦一下子占领了台儿庄的西北角，切断了师部与阵地的联系。守卫在西北角的王祖献营长阵亡，全部官兵伤亡殆尽。城西门是城内守军与城外联军的通道，西门丢失，城内主阵地上的总指挥王寇五便发生了动摇，产生弃城撤退的念头。当晚，他向池峰城喊话，请师长下令放弃台儿庄，守城官兵伤亡过半，无法再坚持了。
池峰城也知道本师伤亡严重，这都五六天了。汤恩伯说只要坚守3天，怎么到现在还不来增援啊？日军攻势有增无减，而城内守军疲惫不堪，难以支撑。再这样打下去，全师都得赔进去。一向顽强坚毅的将领，这时头脑中也产生了撤退的想法。池峰城马上要通孙连仲的电话，报告总司令，部队伤亡实在太大了，请将部队撤退到运河南岸，让我们喘喘气吧。
说来也巧，这天围绕着守与撤的电话有好几个，最先是蒋介石从武汉打过来，请侍从室主任林蔚转达李宗仁的。蒋介石十分关注台儿庄方面的战况，每时每刻都有无数战况电文飞到他手里，日军进攻台儿庄的意志，以及中国守军的状况让他很担心。于是，他打电话说，台儿庄是徐州、淮海的屏障，关系第二期作战，故以第2集团军全力保守，即有一兵一卒，亦须本牺牲精神努力死拼，如果失守，不仅该军全体官兵重惩，李长官、白副长官、林次长亦有处分。
李宗仁刚接到谕旨，第2集团军总司令孙连仲就打来电话。李宗仁回忆说，孙总司令说得如此哀婉。他说第2集团军已伤亡7\/10，敌人火力太强，攻势过猛，但是我们把敌人也消耗得差不多了。可否请长官答应暂时撤退到运河南岸，好让第2集团军留点种子，也是长官的大恩大德！李宗仁不能心软，他接到蒋介石的死命令了。他咬了咬牙说，敌我在台儿庄已血战一周，胜负之数决定于最后五分钟，务必守到明天拂晓。如违抗命令，当军法从事。
孙连仲刚同李宗仁通完电话，池峰城师长就把电话打到孙连仲那里。
孙总司令一肚子的气正好没地方发，他对着电话大声吼道，士兵打完你就自己上前填进去。你填进去了，我就来填进去。有谁敢撤退过运河，杀无赦！
池峰城见退兵无望，便命令炸毁运河上的浮桥，破釜沉舟，背水一战，置之死地而后生。他立即组织敢死队，竟有数百战士举手报名参加。
他们挑选有武艺的、有力气的57名队员，穿日军军服，头戴钢盔，腰间挂满手榴弹，手持短枪、大刀，趁着夜色插入敌人背后，以迅雷不及掩耳之势冲入敌阵。敌人阵地上喊杀声四起，爆炸声轰鸣，敢死队员在敌人的掩体、房屋内与敌拼杀，即使自己受伤倒地，也要用尽最后的力量拉响身上的手榴弹，与日军同归于尽。
为了支持主阵地上的第31师，东面的第27师开始向日军守备的村寨发动进攻。第79旅将裴庄攻下，又击溃刘桥之敌；第80旅将日军占领的4个据点收复；第27师全线出击，双方打得难解难分。战斗一直持续到夜晚，师长黄樵松亲自到阵地督战，士兵们气势激昂，战斗激烈。
孙连仲总司令发狠了，他命令部队官兵，为保持本军过去的历史，牺牲到最后一滴血，也要奋斗到底。各军长、师长、旅长全部下到一线，对退缩不前的依法惩办，对作战出力的重奖。
日军已占领台儿庄2/3的地方，第31师官兵据守在南关一隅，拼死不退。池峰城师长提出的口号是，以精神胜物质，以肉弹胜炮弹。就是全师打光，也要挡住敌人。
台儿庄早已面目全非，石头砌的城墙被日军大炮轰塌，石头块儿堆得像个小山坡，敌人的坦克便从一座座斜坡上翻越过来。庄内的房屋完全坍塌了，遍地都是尸体。战斗的头两天，交战双方还清醒着，把尸体抬到一旁，现在不行了，战斗人员没有力气了，尸体同石头、砖块交织在一起，一层又一层地叠在地上。庄内的伤员也没地方安置，断墙残垣到处倚靠着只剩一口气的伤兵。
日本军人也疲惫不堪了，他们也是肉身啊，十多个日日夜夜，再是铁军也难支撑。敌人的进攻也放慢了许多，庄内到处堆积着建筑物，坦克战车很难行进。只有大炮还在对南关进行不停地轰击，还有那天上该死的飞机。守军士兵在断墙上掏出射击孔，用破枪呼呼地把冲到当面的敌人消灭掉。再就是手榴弹。扔不远了，投弹的力气都快用完了。
但是，池峰城还是要发挥自己的优势，天天组织夜袭队。夜袭队、敢死队半夜冲进敌人占领的阵地里，日本兵躺在地上睡大觉，他们还没爬起来，就被敢死队的大刀劈成两半了。被敌人占领的阵地大片大片地被收复回来，白天又被敌人夺回去。
守在被占领阵地上的日本兵老是想不明白，中国守军哪来那么多力气，白天打了一天了，晚上照样能打，难道他们是铁铸的吗？所以，每天晚上只要夜袭队、敢死队上来，日本兵拔腿就跑，他们的武士道被大刀砍得早不见影子了。
在台儿庄打得最为艰难的时候，战士们的体能早已超出常人的极限，也许再相持一天半天，可能就爬不起来了。就在这个节骨眼上，李宗仁传来振奋人心的消息，汤恩伯第20军团来了，全线反攻的时候到了。孙连仲听到这个消息，差点站不住了，全神贯注、神经紧绷的孙总司令，心里刚松弛一下，便感觉全身无力。他拿着电话，屁股还没坐下来，就听到电话里李宗仁命令他组织敢死队，把当前的敌人压下去，以利于明天拂晓的总攻。
孙连仲急哭了。我的李长官哟，这个时候哪还有什么人呀？要组织几百人的敢死队不容易呀，这我办不到。孙总司令一个劲儿地叫苦。李宗仁说不组织不行，明天的反攻需要内外夹击，一鼓作气。今晚必须把敌人压下去，这样可以打乱敌人明早的进攻。孙连仲还是不答应。
李宗仁在回忆录中是这样说这件事的：
孙连仲说，他的预备队已全部用完，夜袭甚为不易。我说，我现在悬赏十万元，你将后方凡可拿枪的士兵、担架兵、炊事兵与前线士兵一起集合起来，组织一支敢死队，实行夜袭。这十万块钱将来按人平分。重赏之下，必有勇夫，你好自为之，胜负之数，在此一举。
我所以要他组织敢死队的原因，便是根据我的判断，第二集团军的伤亡虽已逾全军十分之七，但是从火线上因抬运负伤官兵而退下的士兵一定不少，他们因为战火太猛没有回到火线上去。重赏之下，必有勇夫，我们要利用这一点最后的力量，作孤注一掷。
台儿庄的守城部队听说明天拂晓要全线反攻，汤恩伯的第20军团要到了，日军第10师团和第5师团的坂本支队就要完蛋了，他们高兴，他们激动，战士们的脸上挂满了泪水。眼泪在满是尘土的脸上爬出弯弯曲曲的沟壑。
伤员们从地上爬起来，把肚子外的肠子朝里塞，包扎好自己的伤口。
他们拄着大刀、断枪，坚强地站起来。他们庆幸自己还活着，还能看见最后胜利的一幕。伤员们虽说跑不动，甚至走不了，但是他们还有一只断手，还有一只瞎眼，就是用嘴咬，也得参加大反攻的复仇行动。
中国守军部队摩拳擦掌，把背上锯齿一般的大刀在石块上霍霍磨着。
大刀向鬼子们的头上砍去！
反攻的一天来到了，胜利的一天来到了！