华东野战军利用坑道作业向黄百韬兵团步步进逼，将其层层剥皮的战术十分成功，敌军被我一口一口地吃掉，防区一天比一天小，供应一天比一天难。11月17日和18日两天，四纵攻占了敌人防区内除碾庄之外最重要的据点大芽庄和太平庄；六纵攻占了前黄滩和后黄滩，歼灭了敌四十四军军部，四十四军一五零师师长赵壁光率部投降；八纵和九纵则基本上扫清了碾庄外围的据点，直逼碾庄。到18日晚，包围圈中的第一零零军和四十四军已被我全部歼灭，被围的黄百韬兵团其兵力实际上已被我军消灭了一大半，还有战斗力的只剩下已经被打残的二十五军和六十四军不足8个团，所守的据点仅存碾庄周围的六七处。也就在18日这天，我军活捉了敌四十四军中将军长王泽浚。
四十四军原来并不是属于黄百韬指挥的部队，是川军，抗日战争时扩编为第三十八集团军出川抗战，当时有两个军，共有24个团的兵力，由王瓒绪任集团军总司令。由于川军属于杂牌部队，从来不被蒋介石所重视，虽然在抗击日寇的战斗中也打过一些好仗，但是部队愈打愈少，两个军后来仅剩下了一个四十四军。经过多次整编裁并之后，只剩下了两个师6个团，由王瓒绪的儿子王泽浚任军长。由于王瓒绪是川军将领中全心全意投靠蒋介石的一个，和其他与蒋介石离心离德的川军将领矛盾很深，所以在抗日战争结束后四十四军没能回四川。全面内战打响之后，就被蒋介石派到苏中第一线充当炮灰。淮海战役之前，驻在海州，属于李延年的第九绥靖区，而第九绥靖区也就只有这一个军。当第九绥靖区决定撤销后，四十四军就交给黄百韬指挥，随黄百韬第七兵团一道向西撤退。由于在撤退时四十四军是走在最后，又带有一些随同逃命的非军人，速度不快，在撤退中已被我军消灭了不少。到了碾庄地区，奉命防守南线。
当时，按蒋介石的一贯作风，他给被包围的各个军长都投下了亲笔信，给王泽浚的信是这样写的：
泽浚军长：此次徐州会战，关系党国存亡，只许成功，不许失败。地形、工事、兵力，我都优越，胜利在握。望激励将士，以尽全功。
王泽浚父子都在国民党杂牌部队中带兵，对于蒋介石这一套当然较之蒋介石的嫡系将领更清楚，所以这封信被王泽浚撕得粉碎，并大骂蒋介石：“这时才来叫乖乖，有啥用！”在华野的强大攻击下，四十四军很快就被击溃，成为包围圈中最早被全部消灭的一个军。
王泽浚在回忆录中是这样记述他被俘经过的：
自大小王庄和彭庄、贺台子相继被解放军占领后，解放军即对前后黄滩、小李庄采取坑道进攻战法，昼夜不停地进行坑道作业。十六日晚，小李庄亦被占领。天明后，坑道工事已满布于阵地前面，两军相隔不过数十公尺。……十八日拂晓前，第四十四军的掩蔽部被解放军的战车轰垮，我几乎被活埋在里面。解放军从四面八方逼近，炮兵没法射击，但又无处可以转移，只有一个炮兵排长在我身旁，要我快想办法离开。我对那排长说：“我就在此地，你们不要管我。最好你去找你的连长，叫他自打主意，突围逃命也好，在此继续抵抗也好，投降共军也好，我都不管。”那排长马上去找他的连长，不到十分钟回来说：“共军已解除了我们的武装，要我们去集合，你最好不要暴露，也同我们去吧。”当那排长说完时，解放军的干部和战士已出现在我面前。清查人数时，一位干部问我：“你是什么人？”我答：“我是一个排长。”约半小时之后，大概是清扫战场完毕，来了一位解放军的干部，他似早就了解我的身份，故意问我：“你究竟是什么人？”我即向其坦白了。因天已大亮，我虽穿上一件士兵棉大衣，但里面却是黄色毛织将官服和中将的领肩章，这是无法蒙混过关的。
王泽浚的回忆，比较真实地记述了黄百韬兵团覆灭前的情况。不过，这时黄百韬兵团的火力仍然很强，因为黄百韬把各军的重炮集中使用，全部都集中在碾庄附近。强大的火力还有一部分是来自空中，因为顾祝同给黄百韬空投了一部地空通信电台，专门用来和空中的飞机联络，地上既能从空中了解战场上的情况，空中又能根据地上的要求进行轰炸。黄百韬兵团这时还能守住若干阵地，与空中的支援有很大关系。
为了更有效地对黄百韬兵团进行“层层剥皮”，减少伤亡，华野9各纵队从11月15日开始停止了对黄百韬兵团的猛攻，而改为使用坑道作业一口一口地吃掉敌人。11月17日，粟裕为了更多地消灭敌人的有生力量，命令我军阻援兵团有意略向后撤退。这种战术的改变使徐州的刘峙和杜聿明产生了一种错觉。11月17日，在杜聿明的指挥下向东攻击、援救黄百韬的邱清泉、李弥两兵团发现解放军在向后退却，有的部队还在经张集、房村向东南方向撤退，空军在空中所见到的情况与地面的报告也是一致的。杜聿明又听说解放军的粮弹缺乏，遂做出了错误判断，认为解放军“已被击溃”，“有全面崩溃之可能”，“决以彻底扑灭匪军于运河西岸”，命令邱清泉和李弥全线攻击前进，“迅速击破各该当面之匪”；又命令黄百韬“即以有力部队向外出击，搜索匪情，抑留匪以待攻击兵团到达，夹击匪军，以竟全功”。昏庸的刘峙得到报告后，也以为解放军已经守不住了，败退了，他欣喜若狂地大叫“这回可对得起国人了”！一方面向蒋介石报捷（前面已经提到过的七十四军在潘塘未被消灭，潘塘未曾失守也是上报的“大捷”的重要内容），向各省主席报捷，一方面下令徐州城中大贴标语，大放鞭炮，庆祝“徐东大捷”。
蒋介石在万分苦恼之中（这时的蒋介石不仅为战场上的败局苦恼，还要为金融危机和国统区内风起云涌的反抗浪潮苦恼。远的不说，就在这一个月中就有东北全境尽失、国统区的“币制改革”失败、财政部长王云五辞职、行政院长翁文灏辞职、有“文胆”之称的蒋家王朝最重要的谋士与代笔人陈布雷服毒自杀等，令蒋介石万分头痛），得到如此难得的好消息，真是喜出望外，宣布无论官兵一律犒赏金圆券3元。同时宣布，奖赏第七兵团司令黄百韬一等云麾勋章一枚，第七兵团参谋长魏翱和第二十五军军长陈士章等云麾勋章各一枚，第四十四军军长王泽浚和第六十四军军长刘镇汀四等宝鼎勋章各一枚。在国民党的各种报纸上，“徐州大捷”、“碾庄圩固若金汤”、解放军在碾庄“伏尸遍野”之类文字一夜之间纷纷出笼。
不过，刘峙这一次还真是说话算了话，他亲自乘飞机飞到碾庄上空，把给黄百韬兵团的10万元金圆券扔了下去，把给黄百韬等人的云麾勋章、宝鼎勋章扔了下去。纵然这时的碾庄有再多的钞票也无法买到什么东西，已经在大量宰杀战马充饥了。
其实，华野略作后撤，这是粟裕根据毛泽东的指示，将“打黄阻援”转为“围黄打援”，为了诱敌而消灭邱清泉和李弥，为了麻痹敌人而有意采取的一个手段。就是利用邱清泉和李弥一心想通过大许家一线靠近碾庄的心理，有意后退一点，放邱清泉和李弥向东深入至大许家一线。与此同时，将已被包围的四十四军、一零零军和二十五军先行歼灭，暂时留下敌兵团部和碾庄东南的六十四军。等到邱清泉和李弥到达大许家一线之后，由早已准备在徐州东南方侧翼的苏北兵团等5个纵队向北插入，切断邱清泉和李弥的后路，对其实施两面夹攻，让华东野战军将黄百韬、邱清泉、李弥这三个已经被我打残的兵团全部消灭。由于我苏北兵团已经在11月17日与敌七十四军在潘塘地区接战，而邱清泉和李弥在遭受我强有力的阻击之后，冒险前进的可能性已经不大，这个计划才未能实现。可是，无论是在徐州的刘峙和杜聿明，还是在前线的邱清泉和李弥，他们一直都未能发现我军差点就把他们的三个兵团一锅煮的这一计划。
就在徐州和南京吹吹打打“庆祝胜利”之时，11月19日上午10时，粟裕下令向黄百韬兵团发起总攻。在前线负责具体指挥的谭震林和王建安早已做好了部署，鉴于敌人的守卫范围已经很小，所以决定首先夺取碾庄敌人的兵团指挥部，把敌人完全打乱之后再行分割消灭敌二十五军和六十四军残部。谭震林和王建安命令八纵以一部钳制碾庄以东的六十四军，主力则由碾庄东南向西北方向进攻，直取碾庄的敌兵团司令部；九纵则由南边向北进攻，目标也是碾庄的敌兵团司令部；四纵则从碾庄西北边和西边向碾庄发起攻击；十三纵和六纵集结于碾庄西边和西南边，作为预备队。同时决定，各纵队的炮兵统归华野特种兵纵队司令陈锐霆统一指挥。
号令一下，我围攻碾庄的各纵队大炮一齐开火，对敌军实行了连续30分钟的猛烈轰击。为了在敌人高密度聚集的情况下尽可能多地杀伤敌人，为了减少我军发起进攻时的伤亡，几万发炮弹倾盆大雨一般落在敌人的阵地上。鉴于碾庄一带敌人已经修筑了相当坚固且形成体系的三道工事，我们的炮兵在经过周密的调查研究之后，也改变了过去分散配置、直接瞄准的方法，而是将火炮集中，进行纵深梯次配置：榴弹炮群专门破坏敌人的指挥系统和通信枢纽，压制敌人集结的有生力量；三八式野炮群专门破坏敌方的高物体目标和压制射击；山炮群直接摧毁敌人的各种明堡和暗堡；迫击炮摆在最前沿，专门压制敌人的散兵和后续梯队，消灭死角。在先进行破坏性射击之后，再进行逐次延伸，支援纵深部队战斗。
黄百韬的炮火被压住了，他只能请求徐州的空军立即出动。可是在碾庄地区方圆十公里之内，全部被地面炮火所形成的浓烟所笼罩，空中不可能看清楚地面的目标，只得凭过去飞行时的经验估计着向下投弹。
由于这时敌我双方的距离已经很近，所以国民党空军的轰炸既对我军造成伤亡，也对国民党军队造成伤亡。如果说这次规模不小的轰炸真正对我方造成了一些损失的话，应当是使我方的大量支前民工受到了一些伤亡。
在我军的猛烈攻击之下，黄百韬实在招架不住了，只得向徐州求援，电报中甚至说出了若无紧急援救，就只好“来生再见”之类的话来。刘峙和杜聿明得到黄百韬如此的求援电报之后，不得不采取最紧急的措施。鉴于从西向东援救黄百韬兵团的邱清泉和李弥兵团已经打了8个昼夜，第一线部队已经伤亡过半，根本没有什么突击力量了，只有把由徐州“剿总”直属的原来作为总预备队还能投入战斗的七十二军和有一定突击力量的战车团拉上去做一次试验，看能不能对援救黄百韬起一点作用。七十二军军长余锦源认为向前突破十几公里不会有多大困难，竟然夸下海口，表示“大许家离碾庄只有15公里，大炮炮火已能相接了，我可以一连打下几个村庄，打过大许家，单刀直入，解黄百韬之围”。战车团团长赵志华也认为他的装甲车对付解放军没有问题，竟说出了“如果步兵跟不上，我的战车团也能单独打到碾庄圩去”的狂言。
刘峙和杜聿明虽然知道这些豪言壮语只能先听了再说，但是抱着试一试的态度，还是以很诚恳的态度将这两个部下送上了战场。可是，这两个只能说大话的将军用尽全力打了一天之后就败下阵来，因为他们在空军的配合下，实行战车与步兵协同作战的结果，是连大许家也过不去，更不说接近碾庄了。
在大炮的轰击之后，华野指战员向顽抗在碾庄、小芽庄、尤家湖、吴庄、沙滩、王家庄、小院上、大院上等8个村庄中的敌人发起了冲锋。
八纵、九纵的目标是黄百韬的司令部所在地碾庄。战士们面前的障碍有地堡和鹿寨，有三道土墙，还有一排排用载重汽车组成的钢铁防线。最麻烦的是那围绕村庄的五六米宽的水濠。爆破组先上，浮桥组跟进，很多战士都是脱下棉衣棉裤蹚水过濠，过濠后就在寒风中向前冲，穿着湿漉漉的单衣和敌人拼刺刀，一步一步地前进，一间房一间房地争夺，我八纵和九纵终于拿下了碾庄。在我军进入碾庄之前，黄百韬在他多年的直属部队二十五军副军长兼碾庄警备司令杨廷宴等人的保护下逃到了大院上。在大院上，当黄百韬得知他的老部队二十五军军长陈士章竟然准备化装成老百姓逃跑，六十四军军长刘镇湘准备穿上将官大礼服、挂上勋章自杀“成仁”时，决定拼死一搏，拿出他的最后一张牌，让军队中最反动凶残的特务武装青年突击队组成敢死队向我军反扑。可是，在我军英勇无比的战士面前，青年突击队的反扑也被打垮了。
当碾庄被我军攻占之时，其他村庄也纷纷落入我军之手。最后，只剩下大院上和尤家湖两个村庄还在敌人手中。大院上是六十四军军部所在地，六十四军在负隅顽抗时曾经向我军使用催泪性毒气弹，等到我军指战员中毒倒地后再将我军指战员杀害。这种毒辣的犯罪手段在整个解放战争中都是少见的。
在黄百韬兵团即将覆灭的前夕，我军曾经向黄百韬发出最后通牒，要他放下武器，向人民投降。黄百韬拒绝了。21日黄昏，我军向大院上和尤家湖发起最后攻击。激战到次日凌晨，大院上、尤家湖的残敌全部被我消灭。
在黄百韬兵团即将覆灭的前夕，杜聿明在21日也曾给邱清泉和李弥下过死命令，要邱、李两兵团必须不惜一切代价，全线出击，越过大许家，救出黄百韬。可是，邱清泉和李弥这两个久经沙场的人心中都很清楚，几天的较量表明，他们不是华东野战军的对手，他们要想突破阻击线已经是不可能了。他们或许可能再往前推进一点，但如果继续亡命东进，距徐州太远，他们的后路就很可能被华野的苏北兵团抄后路，截断其退回徐州的后路，这就意味着他们也会被包围，成为黄百韬第二。所以，他们只是应付式地发动了几次实际上没有任何作用的进攻，只是让黄百韬多听了一些从西边传来的激烈枪炮声而已。
当我军发起攻击之后，敌六十四军军长刘镇湘劝当时左腿已经被我军的炮弹炸伤的黄百韬设法突围。据刘镇湘回忆，黄百韬对刘镇湘说了这样的一段话：“我老了，而且多病，做俘虏我走不动，而且难为情。我牺牲以后，使别人还知道有忠心耿耿的国民党人，或可使那些醉生梦死的人醒悟过来，国民党或许还有希望。你年纪还轻，尚有可为，希望你能突围出去，再为党国做点事。”
但是，求生的欲望仍然刺激着他。他带着刘镇湘、杨廷宴等人向北逃去，到了六十四军一五六师的阵地上。一五六师师长张越秀告诉他“昨晚共军曾派人来劝降”。应当说，这是黄百韬得以求生的最后一次机会。可是，他却听信了他的参谋长魏翱的建议，还想继续与我军耍花招。魏翱说：“司令官，我们可以借这个机会，与共军联系，拖延一段时间，等待援军到来。”黄百韬沉思片刻之后说：“决定今晚同他们接头。”但是，当黄百韬等人还打算拖下去时，我军向残存的敌军发起了最后的攻击。敌军的据点一个个被攻克，六十四军大部队被歼，军长刘镇湘、一五六师师长张越秀等人被俘，那个最后时刻还想耍花招的魏翱本人也同样当了俘虏。一五九师师长钟世谦等率残部2000余人向我投降。
在混战之中，黄百韬亲自指挥一五六师一部分人从吴庄向西北突围，妄图逃出包围圈到三塔地区与李弥兵团会合。但是，未走出多远就被我军的炮火所击溃。在一片夜色之中，黄百韬带领杨廷宴等人向尤家湖方向逃去。行至一芦苇地时，在周围的一片枪炮声中，刚过了50岁生日的黄百韬举枪自杀。作为蒋介石军队中的死硬派，黄百韬曾想用他的死来“使那些醉生梦死的人醒悟过来”。可是，他想错了，蒋家王朝已经是病入膏肓，腐败透顶，无可救药，他的自杀绝对不可能让那些醉生梦死的国民党要员有所醒悟，醉生梦死者仍然醉生梦死如故，只不过后来者是或被打死，或当了俘虏。
关于黄百韬自杀时的具体情况，各种记载小有出入。据当时陪同黄百韬出逃、黄自杀时又在场的二十五军副军长杨廷宴的回忆是这样的：
当时黄百韬、陈士章、刘镇湘等见情势危急，决心各带一部分人向西突围。黄突出后走至一茅棚附近，只剩我们两人，见四面皆有解放军包围，无法再走，即举枪自杀，但并未断气，我又加了一枪。黄死后我正在哭，解放军来盘问我，我说：“我是伙夫，死的是伙夫头，是我的哥哥。”解放军未再追究，我把黄掩埋后，钻空子跑了出来。
可笑的是，刘峙关于“徐东大捷”的“喜讯”还在南京、上海的报纸上吹嘘之时，黄百韬兵团就已完蛋了。按照蒋介石的命令组成的以国民党中央宣传部长张道藩为团长的徐州前线劳军慰问团，正好在黄百韬自杀的这天来到徐州，随团而来的还有中外记者数十人。刘峙为了欺骗中外记者，临时在邱清泉兵团搞了一个“战绩展览”让人参观。当一位有疑心的记者发问：“这样的大捷，请问黄百韬将军到哪里去了？”杜聿明只好回答说：“黄百韬回家休息去了。”
黄百韬兵团所属的5个军竟会如此迅速而干净地全军覆没，在当时是出乎不少人的意料。连黄百韬本人在自知已经陷于不可挽救的结局时，也曾对杨廷宴说过他的“三不解”，这就是：
一是我为什么那么傻，要在新安镇等四十四军两天？如果我早两天向西撤退，解放军不一定抓得住我；二是我在新安镇等两天之久，为什么不在运河上架设军桥？结果因运河阻隔，再一次影响了我的西撤行动；三是李弥既然以后要向东进攻来援救我，为什么当初不在曹八集附近掩护我西撤？结果因其过早撤往徐州，陷我于孤军之地。
黄百韬看到了在具体的战术方案上的一些问题，却未能看到国民党军队在全局上的败局，未能看到蒋家王朝早已处于必败的命运。退一万步说，如果黄百韬在战术行动上能按他的设想加以实现，让他顺利退往徐州，他也只是多活几天而已。在淮海战场上被我军消灭的国民党军队的高级将领中，包括杜聿明本人在内，有好些都是从东北战场上侥幸回到中原来的，结果不是和东北战场上被消灭的结局一样吗？不过，黄百韬在临死之前总还算对失败的具体原因做了一点检讨，要比蒋介石强。
蒋介石得知黄百韬全军覆没之后，却只会发气骂下属。他在给刘峙和杜聿明的电报中说：“查此次徐州会战，我东进各兵团行动迟缓，未能彻底奉命，致陷友军于覆灭，实有失军人武德。”“另据统计，此次作战共消耗各种炮弹12万余发，而我军每日进展尚不及一公里，如此消耗浪费，不计成效，亦我革命军人之奇耻大辱。”蒋介石当然未曾想到，有失军人武德和奇耻大辱之事还多，即将源源到来。
黄百韬兵团的5个军共12万人被消灭，中央军委关于淮海战役第一阶段的任务胜利完成。第一阶段的胜利不仅消灭了以黄百韬兵团为主的总共18个整师（包括起义的三个半师），给邱清泉、李弥、孙元良、刘汝明兵团以相当的打击，斩断了徐州国民党军队的右翼，总共歼敌17.8万余人，而且还使山东解放区和苏北解放区连成了一片，完全切断了敌人在徐州和蚌埠之间的联系，控制了津浦铁路南段近200公里的铁路线，使徐州之敌完全处于孤立之中，敌人所经营的“一点两线”的防御体系完全被打破。还有一个很重要的成果是使会战双方的力量对比发生了变化，使我军兵力取得了优势并掌握了主动权。所以，连刘峙也不得不承认：“黄百韬覆灭，所谓徐蚌会战的命运已经决定了。”
上述好消息立即报告到设在周家寨的粟裕临时指挥部。当华野副参谋长张震向粟裕报告“黄百韬兵团已被全部歼灭”之后，一直处在高度紧张中的粟裕竟然一下子晕过去了，从上午一直睡到掌灯。为了这一仗，他太辛苦、太紧张了。若干年后，粟裕在回忆这一段历史时说过，在整个淮海战役中，他紧张过两次，第一次就是打黄百韬。他说：
上至中央军委，包括主席，下至我们，开始都对黄百韬兵团的战斗力估计不足啊！后来我们碰了钉子，可又不敢向主席叫苦，只有豁出命来打。主席天天来电催问战况，我心里很着急。部队打得很苦啊！
是的，粟裕的部队的确打得很苦。消灭黄百韬兵团和阻击援黄兵团都是在一马平川的淮北大平原上打的，时间又十分紧迫，战士们一般都只能利用敌人原来的工事，来不及修筑适合自己的工事，在敌人从地面和空中的强大火力之下，战士们虽然个个英勇奋战，取得了一个又一个胜利，可是部队的伤亡也不小，四纵、七纵、八纵、九纵、十纵、十一纵、十三纵的伤亡人数都在2000以上，最多的高达五千。直到现在，在碾庄曹门楼的烈士陵园中，还排列着上千座同一形状的烈士墓，墓碑上刻着刘少奇同志题写的“浩气长存”四个大字。
黄百韬兵团被消灭的第二天，毛泽东和中央军委就淮海战役第一阶段的胜利致电淮海战役总前委和两大野战军总部，电报说：
淮海战役第一阶段，你们歼灭黄百韬兵团等部18个整师，隔断徐蚌联系，使徐敌处于孤立地位，这是一个伟大的胜利。
在战役发起前，我们已估计到第一阶段可能消灭敌人18个师，但对隔断徐蚌、使徐敌完全孤立这一点，那时我们尚不敢作这种估计。这种形势的造成，主观上是因为我华东、中原两大野战军合并并攻克宿县，客观上是敌人只有某种程度的防御能力（对于这一点决不可轻视），很少有攻击能力（对于这一点必须有充分认识）。刘峙集团除被歼者外，尚有50个师左右，这个敌人是可以消灭的。但是，必须准备给全战役以3个月至5个月的时间，必须准备以几个作战阶段（你们已完成了第一个作战阶段）去取得全战役的胜利，必须准备全军部队及民夫130万人左右，3个月至5个月的粮食、草料、弹药，10万至20万伤员的医治，必须争取全军各部队在全战役所需时间中有二分之一以上时间的休息整补，务使士气旺盛，精力饱满，对于兵员必须实行随战随补、随补随战的方针，对于人民必须实行耕战互助的方针。在战术方面，必须不是依靠奇袭，而是依靠充分的侦察和技术准备（近迫作业、步炮协同等）去取得成功。必须对于我军和居民进行充分的政治工作，对于敌军进行猛烈的有实效的政治攻势，对于刘汝明等部则进行内部策反工作。只要你们注意了和完成了这些条件，你们就有可能取得这一具有全国意义的伟大战役的胜利。
毛泽东和中央军委的这封电报，既是对淮海战役第一阶段的总结，更是对以后阶段的全面部署，对于以后的作战与后方工作具有十分重要的指导意义。