根据中央军委的统一部署，华野在粟裕和谭震林的领导下，于10月4日开始，在曲阜的孔林召开了师以上干部会议，对不久即将开打的大仗进行了充分讨论、做了准备。11月初，我军的侦察人员发现驻连云港地区的敌第九绥靖区的部队有从海上撤退的迹象，粟裕立即命令部队准备发起攻击，并于11月6日向中央作了报告。华野的司令部也来到了距黄百韬兵团不远的郯城西北的马头镇。为了大部队行动的保密，粟裕命令各部，“为免过早暴露，各纵行动中，尽量利用长途电话线接线联络、汽车传骑联络，到集结地点后再行恢复电台联络”。所以，部队展开行动以后的3天之内，华野总部与各纵队之间的电波基本消失，让国民党军队一直未能搞清楚我军各部队的具体行动方向。
11月6日，粟裕、谭震林、陈士榘、张震、唐亮等华野总部领导在马头镇召开了有各纵队首长参加的军事会议。在会上，粟裕告诉各纵队领导，我军南下的动作敌人已经知道了，敌人必然会收缩兵力于徐州附近，这对我军展开作战十分不利。所以我军必须快速南下，拖住、切断并包围黄百韬兵团。张震副参谋长又对各纵队的具体进军方向与任务作了进一步的布置。会后，在西起单县、东到赣榆的350来公里的推进面上，分兵四路，浩浩荡荡，向徐州地区的蒋军杀去。酝酿已久的淮海大战正式打响。
第一路的左翼纵队是华野苏北兵团的3个纵队，即二纵、十二纵、十一纵（中野的十一纵，这时随华野行动），由韦国清司令员率领，由赣榆地区出发，目标是连云港、海州与新安镇之间的阿湖镇，其任务是切断黄百韬兵团向东边撤退后从海上逃走的退路。同时占领连云港和海州。
第二路的中路大军是由粟裕亲自率领的华野总部和7个纵队的强大兵力，即一纵、六纵、九纵、鲁中南纵、四纵、八纵、十三纵，由临沂地区出发，直指黄百韬兵团总部驻地新安镇，将对黄百韬兵团进行包围，并切断其与李弥兵团之间的联系。
第三路的右翼纵队是山东兵团的3个纵队，即七纵、十纵、十一纵，由政委谭震林和副司令员王建安率领，由滕县地区出发，目标是位于徐州以东、新安集以西陇海线上的曹八集和大许家车站，任务是切断黄百韬兵团向西边逃入徐州的去路，并阻击从徐州向东援助黄百韬的敌军。
第四路的侧翼纵队是由华野三纵、两广纵队和冀鲁豫兵团的独立旅组成的，目标是徐州西北部地区，任务是配合中野在徐州西部的行动，阻止驻在商丘地区的邱清泉兵团向东援救黄百韬兵团，保证我军对黄百韬兵团实现全歼。
毛泽东在战役打响之后十分兴奋，第二天他在给华东野战军粟裕等人的电报中表示，完全同意他们的攻击部署，并说：
完全同意鱼戍（按：这里的“鱼戍”是当时中文电码中使用的“韵目代日”的表示方式，以地支代表月份，以韵目代表日期，“鱼戍”就是代表11月6日）电所述攻击计划，望你们坚决执行。非有特殊重大变化，不要改变计划，愈坚决愈能胜利。在此方针下，由你们机断专行，不要事事请示，但将战况及意见每日或每两日或每三日报告一次。
淮海战役开始之前，黄百韬的七兵团驻扎于徐州以东的新安镇和阿湖镇一带的陇海路沿线。根据11月5日徐州军事会议的决定，在他东边大海边上的第九绥靖区李延年部要全部向西撤，原来属于第九绥靖区的四十四军还要交由黄百韬指挥。按照军事会议的决定和顾祝同的命令，虽然黄百韬的七兵团也要向西撤，要渡过运河向徐州靠近，由于李延年部还在他的东边，暴露在华东野战军的打击之下，所以，按照顾祝同的命令，黄百韬必须得让李延年部先动，必须要掩护李延年，要待李延年部西撤完毕之后，七兵团的大部队才能行动。由于四十四军已归于黄百韬指挥，又由于原来开往海州的一零零军归还七兵团建制，黄百韬兵团一下子就成了5个军，要在一个狭窄的范围内迅速转移这些部队就相当困难。而这时黄百韬已经察觉到北边的我华东野战军正在向南边压过来，他必须按徐州军事会议的部署尽快向西移动，渡过运河。所以这时黄百韬对顾祝同的部署极为不满，大发牢骚，并对李延年说：“国防部作战计划一再变更，处处被动，正是将帅无才，累死三军。”
黄百韬所以有如此牢骚不足为怪，因为突然要让5个军迅速转移的确困难。还有一点是，黄百韬早就看到了徐州地区的国民党军队几十万人在陇海线上一字排开的不妥，他曾向刘峙提过两条建议：
（一）陈毅部主力将会和苏北的3个纵队夹击职部（按：“职部”是旧时的谦称，就是我部）。而刘伯承则从西南方向牵制钧部（按：“钧部”是旧时的尊称，就是你部、贵部）主力各兵团，使不能应援职部。如此击破职部后，再循序各个击破各兵团之企图，已甚明显。
（二）我军分布于陇海沿线，战线辽阔，且四面八方均有敌情，备左则右寡，备前则后寡，无所不备则无所不寡。唯有效拿破仑的团式集中法，结合各兵团于徐州四周，然后掌握战机，趁陈、刘大军尚未会师之前而各个击破之。
应当说，黄百韬的上述分析还是很不错的。可是，他的意见犹如石沉大海，刘峙没有任何回音，更不说有任何行动。直到现在才叫转移集中，已经为时太晚了。
按照黄百韬原来的命令，七兵团应当在11月6日出动。由于要等李延年，又只好向后推迟一天，在7日出动。6日晚上，黄百韬在新安镇的兵团司令部中对他在陆军大学的同班同学李以劻说了不少心里话。由于我华野派出的四个化装进入新安镇的侦察员被敌人发现，所以黄百韬已经知道华野30万大军南下的消息，他的七兵团是首当其冲，而此时顾祝同和刘峙给他的命令却是向西移动，因此，“西撤途中，侧面受敌，随时应战，立足未定，各个击破，最堪忧虑”。他要李以劻第二天一早尽快离开新安镇，去向刘峙说明情况，“如我被围，希望别的兵团来救”。他还要李以劻向蒋介石转告：“我黄某受总统知遇之隆，生死早已置之度外，绝不辜负总统期望。我临难是不苟免的，请记下来，一定要转到呀！”他最后还说了这样一句话：“国民党是斗不过共产党的，人家对上级指示奉行彻底，我们则阳奉阴违。”
应当说，黄百韬这时还是相当清醒的，他已经明白自己的下场是什么。而且，我们也得承认，黄百韬的牢骚满腹和忧心如焚也不是没有道理的。这里可以说一件看来不大，但对于黄百韬不久的全军覆没却有着不小关系的事：按照顾祝同在徐州主持的军事会议决定，第九绥靖区立即撤销，所属的四十四军西撤，交给黄百韬指挥。这本来是重要的军事机密，可是，由于刘峙的贪得无厌，在这最紧张的时刻，竟然首先想到的是他在海州开设的几家盐店。他怕这几家盐店撤晚了要受损失，就让司令部的机要科长以最快的速度将这一消息通知了在海州为他管理盐店的经纪人唐某。唐某一方面收拾东西准备逃跑，一方面又告诉了他商场中的朋友。朋友再传朋友，熟人再传熟人，于是海州和连云港立即大乱，纷纷出逃。而这时，身为第九绥靖区司令长官的李延年还未看到命令他撤退的电报。当第九绥靖区和第四十四军开始撤退时，无数的商人、财主、公务人员、乡绅等拖家带口的队伍乘着牛车马车，带着箱包担笼，早已挤满道路，大大延缓了四十四军西撤的速度，特别是在过桥时，更加拥挤不堪。这一情况，不仅使黄百韬为了等待第九绥靖区人员和四十四军而推迟了西撤的出发时间，更影响了整个黄百韬兵团西撤的速度。而这时，时间对黄百韬来说是至关重要的。黄百韬所以会被我军迅速包围以至全歼，他西撤过晚过缓，应当是一个极为重要的原因。而他所以会如此缓慢，就是由于刘峙这个总司令为了几家盐店的利益竟然有意泄露军事机密所造成的。
11月6日夜，我华东野战军的先头部队已经与黄百韬兵团的部队接火。7日晚，直插曹八集地区的山东兵团首先插入到徐州东北的运河一线。九纵首歼韩庄的守敌，七纵攻占了由韩庄到台儿庄之间运河上唯一的一座桥梁万年闸。大部队遂通过万年闸向南猛扑过去。与此同时，苏北兵团从黄百韬兵团以东迂回向南，到了徐州东南。
就在这个关键时刻，在徐州以北贾汪地区的国民党军队第三绥靖区的一个军部、三个半师举行起义，向我军敞开了南下的大门，让我东野大军得以更加顺利地向南开进。
最早攻入黄百韬兵团在新安镇司令部的，是九纵副参谋长叶超率领的侦察营。当他们在11月8日进入新安镇之后，才知道黄百韬兵团已经完全西撤，而且并未走远。镇中的老百姓说：“老广（黄百韬兵团殿后的部队六十三军是广东部队，大多是广东人）走了不到两个小时。”九纵司令员聂凤智得知这一消息，立即报告给粟裕设在马头镇的临时司令部。粟裕毫不犹豫地立即向各纵队下达命令：追！用最快速度追！各路大军的战马和汽车首先启动，迅速向敌人追去。
根据这一突然发生的变化，粟裕一边上报中央和中野总部，一边向各部队下达了新的作战命令：王建安指挥的山东兵团的任务不变，但必须排除一切困难，用最快速度插入徐州以东的曹八集、大许家地区，抢在敌人的前面，切断敌人向西逃走的去路；已经位于陇海路以南的皂河地区的苏北兵团十一纵和江淮军区的两个旅立即由南向北，经土山镇以最快速度向大许家车站前进，与山东兵团会合，切断敌人的西逃之路；一纵、六纵和九纵在粟裕亲自指挥下沿陇海路的南面迅速向西追击；四纵和八纵则沿陇海路的北面迅速向西追击。苏北兵团的其余部队则从宿迁经双沟向徐州东南前进，威胁徐州，并从敌之西南方阻击敌人。
11月9日华野总部向全部队发出了《全歼黄百韬兵团的政治动员令》，号召全军“不怕疲劳，不怕困难，不怕饥饿，不怕伤亡，不怕打乱建制，不为河流所阻，敌人跑到哪里，坚决追到哪里，全歼黄兵团！活捉黄百韬！”
黄百韬兵团是在11月7日清晨从新安镇向西撤退的，我华野大军是在第二天上午向敌人发起追击的。为了追回这一天多时间，我各路追击大军以能够达到的最快速度急行军，一天行军60公里到70公里。不仅部队在追，紧随其后的大量支前民工也推着小车、抬着担架，一刻不停地跟着追。
从新安镇地区向西行进，最大的麻烦是过运河。黄百韬预先考虑到了这一点，事先就与徐州“剿总”联系，要求派工兵在运河上架设浮桥。“剿总”答复说将派出一个工兵团，结果是一个工兵的影子也没见到。原先预料中的浮桥没有了，除六十三军之外的四个军全部都只能从唯一的一座铁路桥上通过。加之四十四军从海州方向西撤时，夹带了大量的跟随西撤的家属、商人、职员、乡绅、学生等，总数竟有10万人之多，又是轿子，又是车子，大大影响了过桥速度。
11月8日从早晨到中午，黄百韬的六十四军、兵团直属部队与兵团总部、四十四军陆续通过铁桥。下午两点，我华野的先头部队在九纵司令员聂凤智的率领下就已经追到运河边，各种火力一齐向桥面打去。敌第二十五军和一零零军一边抵抗，一边过桥，虽然在黄昏时分都过了桥，但是二十五军被我歼灭了一个团，一零零军四十四师也被我歼灭一部。8日下午，当黄百韬的大部队渡过运河之后，为了摆脱我军的追击，在敌二十五军一零八师还未过铁桥时，黄百韬就悍然下令炸毁了铁桥。当天晚上，黄百韬兵团到达了距徐州只有75公里的碾庄。由于这两天已经跑得相当疲惫，部队又相当混乱，黄百韬下令在11月8日晚上部队休整，整理队伍。之所以敢于停下来休整，是因为黄百韬认为华野还不能追上他的部队，认为他的部队已经接近徐州了。还有一个重要原因，就是黄百韬认为工兵已将运河铁桥炸毁了，河东的解放军主力过不来了；他还认为，河西是没有解放军主力的，有的只是一些地方部队。
可以肯定，黄百韬在估计我军的行军速度上犯了一个致命的错误，因为他没想到我军能以超乎寻常的速度追了上来，没想到我军能以他想不到的方式渡过运河，更没能想到我军会突然插在他的前面。我军为了追赶敌人，有桥过桥、有船乘船，没桥没船就涉水而过。九纵的“潍县团”官兵在渡河时竟站在水中，用自己的身体扛着攻城用的木梯搭成便桥让战友们跑了过去。这样，就在黄百韬在碾庄休整的这天，我山东兵团利用第三绥靖区贾汪起义所造成的有利条件，以超常的速度南下，在11月9日插到了碾庄与徐州之间，七纵到了大许家和黄集，十纵到了东贺村，十三纵到了曹八集。这样，黄百韬兵团退回徐州的路就被切断。
到了11月10日，我华东野战军就展开了对黄百韬兵团的包围，到11日就从四面完成了对黄百韬兵团的包围。黄百韬兵团4个军大约12万人就被我军包围在以碾庄为中心的大约18平方公里范围之内。时间在这个关键时刻真是显得太重要了。战后，粟裕这样说：“只要我们在贾汪多待4小时，我们的机会就丢失了。”
被我军包围在碾庄的敌军是4个军，即二十五军、六十四军、四十四军和一零零军，不过只有六十四军和四十四军还是完整的。被包围的范围是东西6公里，南北3公里，中心是碾庄。本来还有一个六十三军，这个军是在完成了掩护全兵团撤退的任务之后才出动的，由于沿陇海一线人马太多，所以没有沿着陇海路西撤，是从南边向西撤退的。11月7日上午11点出发，刚走了20公里就被我苏北兵团的先头部队追上。
六十三军边打边撤，11月8日黄昏到达运河边上的窑湾镇时即被我军包围。窑湾没船没桥，由于六十三军是粤系余汉谋的旧部，本是广东部队，官兵中不少人都会游泳，于是，会游泳的就强行游泳渡河，其余就在窑湾镇拼死抵抗。我军的十一纵最先赶到窑湾，就在敌人渡河时加以痛击。很快我一纵也飞兵赶到，遂对敌人进行强攻。战斗到11日下午，无论是已渡河的还未渡河的，除了军参谋长宋健人、一八六师师长张泽深等极少数人化装逃跑之外，全军被我歼灭。军长陈章抱着一块木板泅水渡河，刚一上岸就被我军的密集扫射所击毙（粤系军阀余汉谋为了给自己的部下贴金，在对外宣传时说陈章是自杀“成仁”，在南京和广州开了追悼会，当时连六十三军的几名高级将领都称之为“最为可笑”）。这个军就成为我军在整个淮海战役中最早消灭的一个军。