按毛泽东和中央军委对全国战局的考虑，1948年1月27日，毛泽东以中央军委的名义电示粟裕，为了迫使蒋介石改变战略部署，吸引敌人20～30个旅回防江南，决定由粟裕率领的华东野战军外线兵团一纵、四纵和六纵在这年的春夏渡过长江，挺进江南，插向江南腹地，把蒋介石的后方搅个人仰马翻。这一个大胆的方案，是毛泽东提出来的。
毛泽东的考虑是：蒋介石在从豫西到东海的陇海线部署了近百万人的密集型防御态势，特别是在徐州地区就放了4个兵团，进可以进攻我山东与中原解放区，退可以守江淮、拱卫京沪。如何才能更好地打破敌人的这种密集防守？如何才能让蒋介石的防守体系变得手忙脚乱？如果我军要进攻蒋介石的老巢京沪地区，在江南如何立足？
在对这些问题进行了多方考虑之后，毛泽东认为，这几年都是蒋介石的军队到我解放区来打仗，我们也应当到蒋介石的地盘上去打一仗了。蒋介石可以来打我们的陕北根据地，我们为什么不能去打他的江南老巢？如果我们能派部队进入蒋介石目前兵力最薄弱的江南农村建立根据地，既能打乱蒋介石的战略部署，搅乱他的大后方，又能迫使蒋介石抽调中原的兵力回防江南，为我军在中原歼敌创造有利条件。当我军渡江南下时，还能有接应、有落脚点。这一计划的实现，将成为我军解放全中国的极为重要的一步。
对于毛泽东提出的这一大胆计划，当时中央政治局在陕北米脂杨家沟的几位成员毛泽东、周恩来、朱德、任弼时与陈毅在一起做了研究。
大家一致同意这一方案，而且决定将这一任务交由在江南有多年作战经验的粟裕组建东南野战军第一兵团去完成，兵团由华东野战军主力的3个纵队组成，由粟裕任司令员兼政委。这3个纵队确定为叶飞的一纵、陶勇的四纵和王必成的六纵。
这种大胆的打法，过去毛泽东曾经用过，而且取得过很大的成功，比如1944年11月王震的南征，1947年刘邓大军千里跃进大别山，将战场推向国民党统治区，打乱了敌人的全面部署。虽然部队的损失和消耗很大，丢掉了全部重武器，但也是一次很成功的插入敌后的重大军事行动。
这一次，粟裕兵团将进行又一次南征，而且规模更大。因为这一次不是几千人，而是近10万人；不是去山区牵制敌人，而要在敌人的腹心地区的几个省与敌人作战；不是去打一仗就回来，而是要建立根据地，等待下一步解放全中国的大军南下（按当时的估计，不是在一两年之内）。
可是，粟裕却并未执行毛泽东和中央军委的命令，他没有南下，粟裕兵团也没有去江南。这是因为，粟裕在经过深思熟虑之后，向毛泽东提出了他的不同意见，他希望毛泽东和中央军委改变南下江南的部署，并提出了自己的新设想，且得到毛泽东和中央军委同意。像粟裕这样对毛泽东和中央军委已经决定的重大战略决策提出不同意见，而且最后又被毛泽东和中央军委所采纳的事，在遵义会议之后还是第一次。
粟裕是我党我军最杰出的指挥员之一，毛泽东曾称他“最会打仗”，朱德曾称他为“青年战术家”，陈毅曾称他为“常胜将军”。从青年入伍一直到晚年，他把一生心血都投入到了中国革命战争的研究与实践之中，指挥了无数次成功的大战。哪怕是在“文化大革命”之中，他仍然在十分困难的情况下巡视边防，多次向中共中央提出关于未来战争问题的重要报告。1979年，他发表《对未来反侵略战争初期作战方法几个问题的探讨》讲话，成为全党全军一致颂扬的一段佳话。
解放战争初期，粟裕在华东战场上屡战屡胜，特别是在苏中的七战七捷和孟良崮全歼国民党王牌军整编七十四师的战绩更使他名震全国。
就在著名的七战七捷之后，中央军委接受陈毅的建议，将当时的华东野战军和山东野战军两支队伍合并为统一的华东野战军。1946年9月23日，毛泽东为中央军委起草的电报中特地指出：“在陈毅领导下，大政方针共同决定，战役指挥交粟裕负责。”在著名的孟良崮大捷之后，新华社记者采访了陈毅司令员，陈毅说：“你们不用向我祝贺，我这个人呀，在政治工作上依靠的是谭震林同志，在军事组织指挥上依靠的是粟裕同志。”
1948年1月27日，中央军委给粟裕发来一封电报。军委的电报说，为了迫使蒋介石改变其集中兵力在江北与我周旋、固守长江的基本战略，将中原战场上的国民党军队吸引20～30个旅到江南，以便于我军在中原歼敌，军委决定由粟裕率领华东野战军的一纵、四纵、六纵组成外线兵团，在集中整训之后渡江南下。先在湘、赣机动作战，与敌人周旋半年至一年，然后在闽、浙、赣边区我党原来的老根据地见机建立根据地，开创南方的解放区。渡江时间可以在2月、5月或秋天。军委要求粟裕认真考虑具体的行动方案，“熟筹见复”。
粟裕得到中央军委指示后，立即结集部队，北渡黄河，将部队安排在濮阳地区进行整训，进行以水网稻田地区作战和攻坚、巷战为主要内容的军事训练，并积极进行渡江的各种准备，包括派出小分队南下侦察。为了选择渡江地点及确定如何渡江，粟裕还特派曾希圣、孙仲德分别带领一批干部到皖江和巢湖地区工作。与此同时，根据中央的决定，华东野战军第一兵团的干部配备、地方工作、物资后勤等工作也在积极进行。中央决定，由粟裕担任中共中央东南分局书记，由叶飞担任第一兵团副司令员兼副政委，由金明协助粟裕做地方党的工作，由骆耕漠负责南下之后的财经工作。当时，连南下之后对部队的老弱病残的安置、家属小孩的安置都已经做出了具体的计划，在新区使用的银元和由自己发行的“东南流通券”纸币都已经在印制了，可以说是“万事俱备，只待渡江”。而用周恩来和陈毅对粟裕的评价，则叫“心细如发”。
作为一名党的高级干部，粟裕得到中央命令之后就开始积极准备，以待中央一声令下立即出动。可是，作为一个领兵作战20年的指挥员，特别是曾经在江南长期作战，如今又将重返江南独立作战，担负党中央赋予的重新开辟江南根据地重担的粟裕，对于中央的一个重要决策，对于即将到来的南下江南作战并开创新的解放区的重要任务，进行了多方面的思考。他必须认真领会毛泽东这一决定的战略意图，分析敌我双方的力量对比与分布，考虑好应付可能出现的各种困难的办法并在出发前有所准备，为大部队的南下制定出最佳的行动方案。在这些工作还未做好，心中还没有充分把握之前，他是不会轻易向中央提出自己意见的。
在反复考虑之后，粟裕认为中央军委的决定的确有大胆与出奇之处，如果他带3个主力纵队南下，打乱敌人的后方，肯定会取得一定的效果。但是，这既是一着妙棋，可又是一着险棋。在仔细权衡华东野战军南下与不南下、我江北主力部队分兵与不分兵的利弊之后，他认为中央军委的决策并非上策，认为不南下会取得更佳的战果。粟裕的基本考虑是：中央作出这样决定的主要目的，是要改变中原战局，在中原打歼灭战，大量地歼灭敌人。事实上，这时在中原地区打大歼灭战的条件已逐渐成熟。
一是敌人在中原的三条铁路干线和各大中城市的防守上分散了很多兵力，有利于我军在运动之中捕捉战机；
二是中原地区的平坦地形虽然有利于敌人相互支援，但如果我军破路之后，敌人的重装机械化部队就无法机动，有利于发挥我军徒步行军的长处，迅速集中兵力，实现战役的速战速决；
三是中原地区背靠山东和晋冀鲁豫老解放区，便于得到支援和安排伤员；
四是我军挺进外线以后，已经度过了最困难时期，逐渐适应和掌握了外线作战的特点，新的解放区也已经有了一定的基础。
相反，如果3个纵队过江，虽然可以调动部分敌人回防江南，但是国民党军队在江北的4支主力部队，即整编第五军、第七军、整编第十一师、第四十八师要支撑国民党军队的中原防线，拱卫南京和武汉，是不可能将其调动南下的。特别是第七军和四十八师属于桂系的部队，驻在武汉的白崇禧更是不会让其脱离自己的指挥。
另外，中原地区国民党所有机械化部队的主官也是不愿到江南水网地区去作战的。所以，国民党军队可能调到南方的部队不会是其主力，只能是一些二三流部队，这使中原兵力对比的改变不可能很大。在此背景下，如果我军3个主力纵队南下却削弱了我军在中原与敌人决战的能力。
从以上因素考虑，部队南下的方案与中央要在中原地区打大歼灭战的初衷是矛盾的。如果再从另一方面来考虑，我军南下之后，是在新区转战，行程数省，部队的重武器必须全部放弃或丢失，这是不可避免的损失。同时，部队在转战中处处有敌人的围追堵截，伤员的救护与安置有很多困难，这就使得部队减员的数量不会少，很可能达到三分之一甚至二分之一（3个纵队加上部分地方干部约为10万人，减员可能会达到5万人），这也是不可避免且更为严重的损失。
单是这些减员的代价，在江北就可以歼灭敌人好几个师。而如果3个纵队不南下，和其他部队配合作战的话，在中原进行大的歼灭战，其效果会更好。此外，还有一个问题是只有粟裕等原来新四军的领导才会有体会，就是要南下的这几个纵队原来都是新四军的部队，是从苏中苏北撤到山东的，在当时的北撤中和不久前从内线到外线的转移中，都是做了大量的思想工作才使广大官兵转过弯来，现在又要过江南下进行长期的新区转战，思想转弯又得有一个过程。
粟裕经过深思熟虑之后，对中央的这一决策产生了新的想法。粟裕在回忆录中这样写道：
虽然我有以上考虑，但要不要向中央提出建议，开始我是有顾虑的。主要是担心自己看问题有局限性，对中央如此重大的战略决策提出不同看法，会不会干扰统帅部的决心。但又想，作为一个战役指挥员，在即将执行上级赋予的作战任务时，应当结合战争的全局进行思考，从全局上考虑得失利弊，把局部和全局很好地联系起来。全局是由许多局部组成的，从局部看到的问题，也许会对中央观察全局、做出决策有参考价值。想到这些，我终于消除了顾虑，于4月18日把自己的看法和建议报告了中央。
应当指出的是，当粟裕正在反复考虑这一问题时，陈毅从陕北回到了当时设在河南濮阳的华东野战军指挥部。粟裕将自己对这一问题的想法详细告诉了老战友和老上级陈毅。陈毅听后，对于这一改变中央决策而且将牵涉全局的意见十分重视。起初，陈毅是不同意粟裕意见的，因为他自己参与了中央这一决策的讨论与形成的全过程，他很清楚中央对这一决策的重视和慎重。而且，先遣渡江的主帅人物，也是他和毛泽东的一致意见——派粟裕。但是，在经过两人多次认真而严肃的讨论之后，作为一个方面军的统帅，陈毅以敏锐的洞察力和丰富的作战经验，深深领会了粟裕的意见，逐渐同意了粟裕的意见，最后是赞赏和支持了粟裕的意见，并鼓励粟裕大胆向中央提出自己的想法。然后，陈毅又拉着粟裕去拜访了路经濮阳的李先念，仔细谈了粟裕的想法，征求李先念的意见。李先念在与陈毅、粟裕进行了多方的分析之后，也表示完全支持粟裕的意见。
在陈毅、李先念的支持下，4月18日，粟裕以个人署名的一封长达3000余字的报告《华野三个纵队暂不渡江南进的建议》用电报发给了中央军委。
毛泽东是在前往西柏坡途中的五台山文殊院收到粟裕这封电报的。毛泽东刚一看到这封电报时，十分震惊，甚至有些生气地说：
“粟裕要干什么？陈毅在哪里？发个电报，把他们都请来，让他们把不渡江的理由说清楚。”但是，毛泽东很快就冷静了下来，他和中央军委几位负责人研究之后，大家都对粟裕的报告十分重视，认为必须认真听取粟裕的意见，于是电令粟裕到中央进行当面报告，同时电令陈毅也前往中央。
4月28日，当粟裕和陈毅到达当时中央所在地河北阜平城南庄时，毛泽东放下手中的毛笔，走出房门，穿过庭院，亲自迎接（这是极为罕见的举动，毛泽东自从担任党的领袖以来，他的习惯是不出门迎送战友和下级的）。毛泽东握着粟裕的手，望着这位已经不再年轻的前方大将，深情地说：“粟裕同志，你还记得吗？我们分别已经整整17年了！”
根据毛泽东的指示，聂荣臻、李先念、薄一波等也奉命来到了城南庄。1948年4月30日至5月7日，中共中央在城南庄召开了书记处会议，中央的“五大书记”毛泽东、朱德、刘少奇、周恩来、任弼时全部出席。会议的中心议题就是一个：听取并研究粟裕提出的调整南线战略进攻部署的建议。与会者在认真听取了粟裕的报告之后，对他的建议和全国的战局进行了全面的分析研究。与会者的讨论乃至辩论是相当充分的，毛泽东为了考查粟裕，甚至说出了这样的话：“当然，如你感到确有困难或不愿意率一兵团南下，我们可以考虑另换统帅……”但是，会议最后是一致同意了粟裕的意见，并由周恩来代表中央宣布了如下决定：“华野一兵团在4至8个月内暂时不南下，先加入中原作战，力争实现歼灭敌人主力于长江以北的新战略（在这里，党中央还有一个重要考虑，是要尽可能减少今后解放江南时对江南主要经济区的破坏，以便于新中国的经济建设）。如果将来刘邓、陈粟两大野战军的确无法粉碎国民党在中原的防御体系，一兵团立即执行南下方案。”
也就在这次中央军委的会议上，毛泽东和中央军委还做出了两个重要的决定：一是中原地区的决战歼敌从华东野战军发起，华野先打济南，紧接着打徐淮，在徐州淮海战场上与国民党军队进行一场决战；二是为了中原野战军更好地配合华东野战军的作战行动，也为了加强中原野战军的工作（中野转战大别山时期消耗很大，仅剩十来万人，重武器几乎全部丢失，又要马上对付华中和徐州西部几个兵团的敌人，压力很大，中央曾在一个文件中形容说“中原局的困难是中国革命最后最大困难”），中央决定将陈毅和邓子恢从华东调到中原局工作，陈毅担任中原局第二书记，邓子恢任第三书记（第一书记是邓小平），陈毅同时任中原野战军第一副司令员（司令员为刘伯承，第二副司令员为李先念），邓子恢任第一副政委（第二副政委为张际春）。粟裕也参加中原局的领导工作，是中原局的12名委员之一，只是不到中原局去，工作仍然在华野。
这样，华东野战军就由粟裕全权负责，中央决定由粟裕接任华东野战军的司令员兼政治委员。对于中央这一决定，粟裕表示坚决不能接受，认为华野不能没有陈毅。这一次，毛泽东向粟裕让了步，同意华野的司令员兼政委仍然由陈毅担任，但只是名义，陈毅本人必须立即到中原局工作（陈毅和邓子恢后来带了4000多名干部赴中原局工作），粟裕则以华野的代司令员兼代政委的名义全权负责华东野战军工作。
城南庄会议的结果，实际上形成了在江北集中兵力打歼灭战的战略决策，这也就是后来的淮海战役的最初蓝图。正是在这种战略决策之下，中原战场上才陆续出现了打开封、战睢杞、克济南，活捉区寿年、生擒王耀武等一系列胜仗，才会有由两大野战军共同进行的淮海战役。