毒气弹未能挽救黄维兵团失败的命运，后来龟缩在方圆不到五公里包围圈之中的黄维兵团却正在加速走向灭亡。所谓“坚守待援”，实际上是在苦守待毙。
说是苦守，这也是名副其实的。因为从11月25日被包围以来，已过去了半个月了，包围圈中一切可以吃、可以烧的都已消耗殆尽，援兵无望、空投不足、伤员无法治，又值地冻天寒，连军官们也是在临时挖成的掩蔽部中挨饿受冻，更何况广大的士兵。在这处处可见无人掩埋的尸体，处处可以闻到伤员血味和听到伤员呻吟的包围圈中，只能是一片哀叹与绝望。
包围圈中第一个被我军消灭的是八十五军，第二个是第十四军。
十四军属于蒋介石的嫡系部队，又是和土木系关系很深的部队。军长熊绶春和副军长谷炳奎都是黄埔出身，熊绶春也是江西人，和黄维是同乡，所以在其他人看来，十四军在国民党军队中算是较有地位的，装备也是全部美式装备。可是在所谓“嫡系中的嫡系”十二兵团中，十四军的地位却只能排在第三位。即十八军为老大，十军为老二，十四军排老三，仅高于八十五军。不知是巧合还是必然，十二兵团中被消灭的次序刚好相反。第一个被全部解决的是八十五军（廖运周师起义和黄子华师投诚之后，八十五军就完蛋了），第二个就是十四军。
本来，在11月23日攻打浍河时，十四军的参谋长梁岱就曾被我军生俘。由于梁岱到十四军不久，大多部下还不认识他，当天抓的俘虏也不多，所以梁岱在俘虏队中自称是一个书记官，我军管理俘虏队的人没有把他认出来，而是在经过一番教育之后，决定释放他，并让他给黄维和熊绶春带回劝降信。梁岱回到十四军之后，把信都交给了熊绶春。可是，顽固的熊绶春拒绝了这次弃暗投明的大好机会。
黄维兵团被包围之后，十四军的防区在东北边。由于熊绶春和黄维的关系较好，刚开始时还受到了一些照顾，其防守阵地是在八十五军的后面。八十五军完蛋之后，十四军就完全处于最前线，反而要作为十八军的屏障。这样，十四军也就难免成为被首先消灭的对象。我军的战壕作业不断向前推进，每晚前进几十米，壕沟挖到一个小村子，就消灭一个小村子中的敌人。十四军的地盘必然是越来越小，军部所在的杨围子也就成了最前线，前面不远就是解放军的战壕，夜间连咳嗽声都可以听见。
就在这时，我军再次争取熊绶春。12月10日，由一个释放回去的排长再次带去了劝其弃暗投明的信件，并限其在24小时之内给予答复。熊绶春在十分矛盾的心情中还未能采取果断措施，我军对其军部的攻击就已经开始了。
12月11日，我军向十四军发起强攻，十四军军部所在地杨围子在我军强大的火力压制之下，被打得无力招架。当天黄昏，我军冲进了杨围子，熊绶春从掩蔽部中向外冲，一出门就被炮弹炸中，当场毙命。参谋长梁岱第二次当了俘虏。在梁岱的带动下，十四军军部人员全体投降，部队被我军打垮之后，很快就被全部解决。
十四军被消灭之后，就只剩下已经被打残的十八军和十军。从整个阵地看，在我军的“剥皮战”的层层剥皮之后，黄维所称的“硬核桃”的硬壳已经被砸碎、被剥掉，现在只剩下双堆集这块核桃仁了。附着在这块核桃仁上的，就是国民党军队王牌中的王牌十八军，和土木系另一支精锐部队第十军。
第十军曾经进行过相当顽固的抵抗，对作战不力、怕死后退的团长、营长当场枪毙了好几个。但是在我军连续十几天的打击下，进入12月中旬，已经被基本打残，人数最多的一个团只剩下400人，一般的只有100人左右，有的团则已经完全不存在了。
实事求是地说，在整个黄维兵团中，战斗力最强、打得最顽固的的确还是要算十八军。再加之十八军的主要任务是守卫核心阵地，外边有其他部队顶着，所以一直打到最后时，较之其他三个军，十八军的伤亡最小，建制最完整。也正因为这样，我军在向黄维兵团发起最后总攻时，主要对手就只剩下了十八军。
总前委下令从12月6日对黄维兵团发动全面进攻以来，由于我军前期的围困已经削弱了敌人的战斗力，再加之我军一直采取稳扎稳打、逐步推进的战术，所以进展较为顺利，“剥皮”已经成功。在向敌人发起最后的攻击之前，为了给敌人最后一个放下武器、减少双方伤亡的机会，我淮海前线总前委以刘伯承司令员和陈毅司令员的名义，于12月12日向被围的黄维兵团发出了《促黄维立即投降书》：
黄维将军：
现在你所属的4个军，业已大部被歼。八十五军除军部少数人员外，已全部覆灭。十四军所属不过2000人，十军业已被歼三分之二以上，就是你所依靠的王牌十八军，亦被歼过半。
你的整个兵团全部被歼，只是几天的事。而你所希望的援兵孙元良兵团，业已全歼；邱清泉、李弥两兵团业已陷入重围，损失惨重，自身难保，必被歼灭。李延年兵团被我军阻击，尚在80里以外，寸步难移，且伤亡惨重。在这种情况下，你本人和你的部属，再作绝望的抵抗，不但没有丝毫的出路，只能在人民解放军的强烈炮火下完全毁灭。你身为兵团司令，应爱惜部属的生命，立即放下武器，不再让你的官兵作无谓的牺牲。如果你接受我们的这一最后警告，请即派代表到本部谈判投降条件，时机紧迫，望即决策。
这封《促黄维立即投降书》由我军安置在阵地上的大喇叭向整个黄维兵团进行了反复播放。遗憾的是，顽固不化的黄维在最后关头仍然拒绝投降，自动选择了一条死路。
按古语“先礼而后兵”的说法，为了尽可能地减少流血，我军也算是做到仁至义尽了。既然敌人不投降，就叫他灭亡。我军只有发起最后的进攻，将黄维兵团彻底消灭。
为了对敌人发起最后的总攻，当时相对兵力较足的华野粟裕决定支援即将全歼黄维兵团的中野，他派华野参谋长陈士榘率领三纵、十三纵和鲁中南纵队，以及一个炮兵师，组成华野兵团，赶赴双堆集。
12月13日，孙继先司令员率华野三纵到达双堆集东南的指定位置，加入了围攻黄维兵团的南集团力量。由于南集团中已经有了华野的七纵，现在三纵和十三纵又加入了进来，为了指挥方便，前委决定南集团由华野参谋长陈士榘统一指挥。由傅秋涛司令员带过来的鲁中南纵队，则作为前委直接掌握的总预备队。
当我军向黄维发出了《促黄维立即投降书》之后，黄维和胡琏心中很明白，我军发起最后总攻击的时间就要到了，他们彻底灭亡的时刻就要来临了。再加之他们所控制的地方越来越小，连接收空投补给都难以继续了。在这种情况下，黄维决定执行蒋介石所同意的在必要时可以拼死突围的计划。不过蒋介石原来所答应的在突围时要给他们若干帮助的承诺，却无法兑现。
12月15日，黄维和胡琏召开了还在的军、师长会议，宣布了立即突围的命令。其具体要求是：“四面开弓，全线出击，觅缝钻隙，冲出重围。”行动时间定在当天黄昏。至于突向何方，黄维和胡琏心中无底，根本就不可能给下属说清楚，只是告诫大家不要去安徽合肥，因为那里现在驻的是李品仙的部队，而李品仙是属于桂系的，桂系和土木系矛盾本来就深，说不定逃到那里就会被桂系缴械。按理说，突围出去的最近安全地带是蚌埠，但解放军肯定会估计到这一点，会在通往蚌埠的方向设置重兵，所以通往蚌埠的南方和东南方最好别去硬碰。这样就只有东、北、西这三个方向可能突得出去。而西边和北边是解放军的后方，除了直接参与围攻的部队之外，第二线部队可能不多，只要能突破包围圈，安全系数会更大一些。
按照上述分析，黄维和胡琏对突围的具体部署是：第十军还有三个师的残余力量，七十五师和一一四师向东突围，如果能突出包围圈，就再折向南方，向蚌埠逃跑；第十八师则向东北方向突围，如果能突出包围圈，也是向南逃往蚌埠。十八军现在只有两个师（其中的四十九师在南坪集打败后就已逃往蚌埠，未在包围圈之内），由其主力十一师保护黄维和胡琏向西边突围，将坦克集中在这里打头阵，黄维、胡琏，还有兵团副总司令兼八十五军军长吴绍周（八十五军已经不存在，他现在已经是光杆司令）三人各乘一辆坦克向外冲（当到了突围时间时，吴绍周已完全绝望，故而没有乘坐分给他的那辆坦克，而是在兵团司令部附近坐以待俘）。一一八师则由军长杨伯涛率领残余部队向西北方向突围。
十八军如果能突出包围圈，则先去蒙城方向，再往蚌埠。所有十二兵团各部，只要能突得出去，如果实在不能去蚌埠，就去安徽的凤台，把凤台作为十二兵团的最后集中地。
黄维和胡琏的上述突围方案当然得向蒋介石报告。蒋介石得知后，认为这样的突围方案过于冒险，在晚上又无法得到空军支持，成功的可能太小。蒋介石立即派空军副司令王叔铭乘飞机去双堆集同黄维联络，制止这种冒险。但是，黄维和胡琏不可能接受蒋介石对他们的这种“关怀”。道理很简单：在解放军的重重包围之下，部队的战斗力已经很差，只有在夜晚还有一点浑水摸鱼、侥幸出逃的可能。如果在白天，肯定逃不出去。据黄维说，他一生领兵作战都是从不违反上级命令的，他也从不允许他的下级违反他的命令。这一次，是他平生第一次，当然也是最后一次违反军令。
虽然作了尽可能细致的部署，但是，黄维和胡琏心中很明白，此次行动是凶多吉少，所以他们各自都在口袋里装上了一大包安眠药，做好了在必要时自杀的准备。他们还相互承诺，谁出去了谁就负责照顾对方的家属。为了在逃命时能多一线成功的希望，他们两人并未按照在会议上所宣布的全兵团行动时间行动，而是把行动时间提前到下午4时，想在全军突围之前趁解放军还未发觉时就先行一步。下午4时，黄维和胡琏竟然连吴绍周都没有管，就命令十八军的十一师开始向西突破。不过，由于在20多天时间中作战的损失，这时能够为他们开路打冲锋的坦克只有6辆了。
为了逃命，黄维和胡琏命令把所有不能携带的重武器一律破坏，或炸炮膛，或毁炮闩。通信用的各种电台大多砸烂。至于那躺在风雪中不能行动的一万多伤员，当然更是完全放弃不顾了。
由于黄维和胡琏提前行动，整个黄维兵团的突围行动乱成了一锅粥。当我军发现了敌人的突围企图后，立即报告了总前委。总前委立即下令，要全体包围黄维兵团的部队尽快将准备进攻的行动转为坚决死守，粉碎敌人突围的阴谋。
保护黄维和胡琏突围的坦克刚冲出阵地，就被我军利用纵横交错的堑壕将为首的一辆逼进了小河之中。其余的坦克只好掉转方向，但是不久又有一辆陷入了战壕。在这种情况下，坦克的主要功能就成了不是向外逃跑，而是四处寻找可以走的道路。天一黑，就更无法找到既无战壕又无河流的道路。就这样一直在夜色中打转，到天明也未能走出包围圈，还有两辆坦克被我军用成捆的手榴弹将其炸瘫。不过天明之后，蒋介石派来了20多架飞机，飞机的轰炸给黄维和胡琏的坦克创造了一些方便，趁我军战士躲避轰炸的机会，这两辆坦克终于冲出了包围圈，可是后边一个步兵也没有了。黄维和胡琏下坦克做了一番研究，觉得就是这孤零零的两辆坦克，还得一边找路一边前进，危险太大。为了能有一个跑出去，还是分成两个方向跑为好，一个完了，也还能有一个活着。于是，两辆坦克在一个岔道口分了手，一个向南，一个向西南夺路而逃。
胡琏乘坐的坦克走了不多久，就在路上碰到一队民兵。这些民兵根本未想到大路上会有国民党军队的坦克，还以为是自己军队的坦克，纷纷给坦克让道，让坦克顺利地开了过去。以后又碰上了我军的部队，曾用步枪手榴弹打过，只因没有反坦克的武器，只好让它跑掉了。到中午时，坦克没油了，胡琏下了坦克，在两个坦克兵的陪同下，终于逃出了包围圈。但是，胡琏在从坦克炮塔中伸出身子指挥坦克在田野中找路时，挨了我军的手榴弹，后来医生从他的背上取出了32块弹片，不过总算保住了一条命。
黄维则没有胡琏那样交好运，他乘坐的坦克没开出多远就出了故障，开不动了，只好下来步行。还没走上几步，就被我军战士发现，黄维连忙逃进一块麦地里隐藏起来。我华野三纵特务营战士傻小六和范介明两人在搜索时发现了趴在地里的黄维，当然就和抓其他俘虏一样将他迅速抓获，连他想掏出身上所带的安眠药也未来得及。这以后，他当然也就被送进了俘虏收容所。在收容所里，黄维说自己是十四军部的上尉司书，并在俘虏登记簿上写着：“方正馨，江西弋阳人，十四军军部上尉司书。”但是，这位兵团司令的尊容毕竟还是有很多国民党官兵认识的，不一会，就有一位叫李永志的解放战士把他认了出来。黄维在李永志面前无法再撒谎，因为李永志过去当过黄维的马夫。
就这样，国民党军队的中坚部队、土木系的大本营十二兵团司令官黄维当了人民解放军的俘虏，时间是1948年12月16日。
在黄维和胡琏率先出逃的同时，十八军和十军的残余部队在突围过程中则与我围歼部队发生了激烈的战斗。当我军发现了敌人的突围企图之后，就从四面八方向包围圈中的敌人猛扑过去，把反突围的阻击战变成最后消灭敌人的围歼战。由于敌人的建制本来已经打烂，主官又只顾逃命，所以敌人虽有一些负隅顽抗的点片，但已经完全不成章法，成了各自为战的局面。在这种情况下，我军在这一夜也打得有些乱，基本上是哪里有敌人就往哪里打，哪里有物资就在哪里接收。但是，结局却是十分简明的：国民党军队主力十二兵团被我全歼。在十二兵团所有的高级军官中，侥幸逃脱的只有胡琏和十四军副军长谷炳奎。被我军俘虏的除了黄维之外，还有兵团副司令兼八十五军军长吴绍周、十八军军长杨伯涛、十军军长覃道善。四个军长中只有十四军军长熊绶春未当俘虏，而是被击毙。作为国民党军队五大王牌之首的十八军除了军长杨伯涛被俘之外，副军长王岳和两个师长王元直、尹钟岳也都当了俘虏。
值得一提的是，当陈赓司令员在俘虏的队伍中见到十四军参谋长梁岱时，向梁岱问过熊绶春的下落。当陈赓得知熊绶春已被击毙时，特地关照说，一定要把熊绶春的尸体找到，并且埋葬，然后在坟前立一个牌子，以便他的家人今后前来查找。为什么要这样做？因为陈赓认为熊绶春虽然是在为蒋家王朝殉葬，但是他在抗日战争中也打过几次硬仗，特别是在打通滇缅路时，他率一零三师血战松山一仗，打出了中国人的威风，算是一条汉子。
在我军打扫战场时，还有一则佳话必须交代。参加围攻黄维兵团的除了中原野战军的全部主力之外，华东野战军还相继派出了七纵、三纵、十三纵、鲁中南纵队和特种兵纵队的两个炮团参战。身兼华野司令员和中野副司令员两职的陈毅是华野的创建人、老首长，他处处表现了想大处、顾大局的崇高风格。在进攻开始之前，他特地告诫华野特种兵纵队司令员陈锐霆：“中野为了跃进大别山，把重武器丢了。这次打黄维，一定要把华野主要的炮兵全部拉上去，保证战斗胜利。”陈锐霆认真执行了陈毅的命令。当战斗快要结束之时，陈毅又给在前线指挥作战的华野参谋长陈士榘两次打招呼：消灭黄维之后，黄维兵团的全部装备都给中野，华野的部队一律不准拿，各纵队即时归建。华野各部队这一次仍然忠实地执行了陈毅的命令。
黄维兵团共4个军11个师12万余人被我全歼，标志着淮海战役第二阶段的结束。为了消灭黄维兵团，我军也付出了伤亡3万余人的代价。
黄维兵团被全歼之后两天，12月28日，毛泽东和中央军委给两大野战军发来了《贺淮海战役第二阶段大捷电》，电报中说：
庆贺你们继淮海战役第一阶段的伟大胜利后，又取得了第二阶段的伟大胜利。自11月23日至12月17日止，你们解放了战略要地徐州，全部歼灭了国民党最精锐兵团之一的黄维匪部第十二兵团四个军十个师及一个快速纵队；生俘该兵团正副司令黄维、吴绍周，争取了黄维兵团之一一零师廖运周部起义；包围了由徐州向永城方向逃窜的杜聿明匪部邱清泉、李弥、孙元良诸兵团，并歼灭该敌三分之一以上；给予从蚌埠向西北增援的李延年、刘汝明诸兵团以沉重打击，迫使其向淮河以南回窜，从而使杜聿明匪部完全孤立于永城东北地区，粮尽援绝，坐以待毙；同时，又解放了淮阴、淮安，攻克灵壁，使淮河以北全境除杜聿明匪部所据永城东北地区这小块据点以外，均获解放，对于今后作战极为有利。凡此伟大成绩，皆我英勇战士努力奋战，前后方党政军民一致协作的结果。特向你们致以热烈的庆贺与慰问之忱。尚望团结全体军民，继续努力，为全部歼灭当面匪军而战！
在重大的胜利面前，淮海战役总前委的几位领导却十分清醒，因为他们时刻关注着部队在作战中存在的各种问题。例如，在15日晚上和16日夜间围歼敌人的战斗中，就出现了若干问题，特别是不少人被胜利冲昏了头脑，反映出来的不良现象特别值得注意。为此，在由中野政委邓小平和副政委张际春所做的《关于歼灭黄维兵团作战初步总结报告》中，就十分严肃地这样写道：
歼灭敌人后，15日夜间及16日整日，战场极为混乱，抢缴武器、汽车、大车，乱放枪炮的现象，极端严重，为中野以往历次作战所未有。我们高级指挥机关，未做预防处置，实为主要原因。但也暴露了中野各部存在着极为严重的无政府、无纪律状态，应引起最大警惕，予以克服。