在日军败局已定之时，新任“中国派遣军”总参谋长小林浅三郎中将在衡阳听取了前方的战报。回到南京后，他提出了应当中止湘西作战的看法，因为“第二十军的攻势终于在雪峰山脉受挫”。
冈村是个务实派，马上表示同意。5月9日，南京总部向日军第六方面军下达了中止芷江作战、部队适时撤回原驻地的命令。同一天，第六方面军向坂西进行传达，坂西收到命令后，赶紧和幕僚们研究将部队撤回邵阳的计划。
这些命令和计划似乎都已经和第一〇九联队毫无关系，他们现在要考虑的不是撤回邵阳，而是怎样避免被围歼的厄运。
第一〇九联队对面的中方第五十一师发力猛追，在木鳌洞一线将尚在后撤的日军一口咬住，并将其分割挤压于当地的丛山峻岭之间。该联队第二大队一部约百余人，被一五一团围困于一片竹林之中。一五一团阵地距离竹林的最近距离不过百来米，而且竹林周围全是无遮无拦的农田，使得整个竹林犹如一座孤岛，日军只要一走出去，立即就会成为活靶子。
日军只好躲在竹林里不出来，一五一团团长王奎昌见状，便下令集中炮火向林子里进行轰击，同时让会说一些日语的军士刘德发在阵前喊话。
两天之后，日军残部在饥饿和死亡的煎熬下已斗志全无，他们派军使向王奎昌接洽投降。王奎昌允许他们放下武器，并承诺会按照国际公法保障其生命安全。
刘德发随军使回去复命，双方讲好于当天上午八点以前缴械投降。想不到的是一名日军军官居然当场切腹自杀了，其他人见了之后皆垂泪不语。刘德发一看气氛不对，赶紧回团将自己所目睹的情况报告给了团长。
得知日军又中途反悔，王奎昌下令恢复进攻，部队一面炮轰，一面向林子里进击。到中午十二点时，战斗结束，林子里除死者外，剩下的十五名伤病员被全部俘虏。
这时陷在包围圈里不得脱身的第一〇九联队主力已经以夜色为掩护，向山门方向逃窜。
山门镇如今既是日军的后方补给点，也是日军第一一六师团撤退所必经的交通要隘之一。依照邱维达的方案，第十八军第十一师在通过溆浦县城后，即从日军右翼侧背猛进，向山门直插过去。当日军第一〇九联队接近山门时，正好第十一师也赶到山门西北地区并对敌人发起侧击。
第十一师是全美械装备的部队，在会战前已经过一段时间训练，而且刚刚参加战斗，一个个龙精虎猛。早就残损不堪的日军第一〇九联队哪里是对手，纵使看到山门，也不得其门而入。
5月10日，第十一师攻克山门，在日军右翼侧背划开了一个大口子。眼见形势急转直下，日军第一〇九联队只得冒死突围，企图乘被完全包围之前夺路逃走。
第十一师作为第十八军的核心，是一支很有作战经验的老部队。指挥官迅速调整部署，在山门北面高地上占领侧面阵地，以控制东西隘口。
日军第一〇九联队突围时，摸不清守军主阵地所在，在用火炮盲目向山门乱轰一阵后，即贸然进入山门。看到日军脚一伸，各个阵地上立即枪炮齐鸣，日军毫无还手之力，其先头部队几被全歼。第十一师仅付出少数伤亡，即大获全胜。
前有堵截，后有追兵，置身于荒山野岭之中，日军第一〇九联队几乎无路可走，情形狼狈之极。万般无奈下，他们被迫绕过正面，朝山门东南方向撤退。
5月11日，第一〇九联队撤入黄连江，与接应他们的救援大队会合。常言道，将军不下马，各自奔前程，更何况是面临如此大难的时候，但日军各部队之间的团结协作以及特有的武士道精神确实很值得一提——黄连江是个小山村，在救援大队驻扎期间，该部饱受中美空军的轰炸扫射，但是一直赖着不肯走，为的就是等待第一〇九联队。
第五十一师很快就尾追而来，并在黄连江的北、西、南三面占领阵地，对日军形成拉网式攻击态势。日军第一〇九联队幸亏有救援大队接应和掩护，才在东南面保留了一条可供脱身的石板古道。
纵使这样，要想迅速逃出也非常困难。对第一〇九联队来说，最大的累赘就是伤病员。为了减轻撤退时的负担，泷寺联队长根据师团指示采取紧急措施，将五百余名重伤病员集中于村内进行焚烧，还美其名曰：“效忠天皇集体玉碎。”
如此“玉碎”让重伤病员们难堪其苦，不少人一边号叫呻吟，一边从熊熊烈焰里挣扎爬出，之后暴尸于道路或水田之中。两年后，人们在清理火焚现场的废墟时，仅骸骨就挑出了几十担。
第一〇九联队与救援大队加在一起仍有三千之众。5月12日，这两支残兵向与黄连江仅隔三里路的桃林逃蹿。
桃林是一个长约三公里的狭谷，两边皆是险象环生、无法攀缘的山壁，中间的古道也仅有一米来宽。日军沿着古道没走多一会，峡谷两端的关口就都被紧追不舍的第五十一师用火力截断了。
第一〇九联队突围时一路甩包袱，除了在黄连江烧死的那些重伤病员外，一些马匹和重武器也被予以抛弃。身子倒是轻了，可是士兵们还是觉得四肢无力。
不用说，当然是饿的。在黄连江停留期间，日军救援大队除了躲飞机之外，就是在百姓家翻箱倒柜找吃的，然而这一带山区居民根据地方政府的命令，早已进行了坚壁清野，粮食都被藏进了山中，最多也不过搜寻到几斤生黄豆而已。到第一〇九联队进村，连黄豆都没有了。
一边是被围困于峡谷，一边是彻底断粮。饿昏头的士兵逮着什么吃什么，运气好的可以抓到青蛙、蛇、蛤蟆充饥，运气不好的只能以青草和喝水维持生命。
最惨的还是伤员。因为没有绷带，许多人将衣服撕成布条进行包扎，轻伤者尚可在包扎后继续随队，重伤者和重病员便唯有任其死去一途。