1949年4月21日，毛泽东、朱德发布了《向全国进军的命令》。全国各战场上，人民解放军进入战略追击阶段。
以彭德怀为首的中国人民解放军第一野战军，在毛泽东、中央军委的指挥下，加快了解放大西北的速度。5月20日解放古城西安。7月10日发起扶眉战役，取得了两昼夜歼敌4个军的胜利。敌胡宗南主力被歼，残部退守秦岭。青海马步芳部和宁夏马鸿逵部被彻底孤立。彭总根据毛泽东的指示，乘胜发起了对青、宁“二马”的追击歼灭战。
青马、宁马分别退守兰州、银川。青马以西北“霸主”自居，处处争权夺利，致使宁马与其多有不睦，大有坐山观虎斗之势。彭总分析了战局后认为，消灭马步芳之主力，是解决西北国民党军，乃至解放大西北的关键。因此决心集中兵力举行兰州战役，与敌决战，彻底歼灭马步芳反动势力。
8月4日，彭德怀向各兵团发出了关于进军兰州歼灭青马的命令：以二兵团3个军和十九兵团2个军分两路包围进攻兰州；由一兵团主力(欠七军)附六十二军沿渭河北上，经天水、临洮进占临夏，突破敌右翼进入青海东南部，向其老巢展开迂回，随时准备发起向西宁的攻势，并拦击和歼灭从兰州逃窜之敌，尔后西渡黄河，直取西宁。另以十八兵团主力(欠六十二军)及第七军在天水、宝鸡一线牵制胡宗南部；以六十四军于固原一带，牵制宁马援兰兵团和靖远、景泰蒋系的两个军。这样就给青马布下了天罗地网，使其无法逃脱被歼的命运。
兰州，是国民党西北军政长官公署所在地。在胡宗南败逃陕南以后，蒋介石把指挥西北反动军队的大权交给了马步芳。马更深知兰州决战是其生死存亡的关键，因此将其主力全部用于防守兰州。8月19日，马步芳参加国民党召集的西北联防会议后从广州匆匆赶回兰州，亲自部署一切。命令其战斗力最强的八十二军和一二九军2个主力军共5万人据守兰州；以九十一军、一二○军、八十一军共2万余人为左翼，于靖远、景泰沿黄河及打拉池地区防御；以新成立的骑兵军共2万人为右翼，控制临洮、洮沙地区。
在兰州布防上，马步芳把作为兰州天然屏障的南山一带作为阻挡我军进攻的主要阵地。让其一○○师在兰州东南十里山、窦家山、马家山、古城岭、大顶山一带防御，第二四八师与一○○师相接，在皋兰山、营盘岭一带防御，一九○师在沈家岭、狗娃山一带防御。在这些主要阵地上，筑有钢筋水泥碉堡群，阵地外有1～2道削壁，高约6～10米，削壁腰部设有暗藏的侧射机枪掩体，削壁外面挖有几道外壕，宽深均为3～4米，各壕间又有暗堡和野外工事，并有交通沟和暗道相通。阵地前还敷设铁丝网，并密布地雷群。敌人为此把兰州吹嘘为“攻不破的铁城。”
我军要全歼守敌，关键是夺取兰州的主要屏障——南山，控制敌人的惟一退路——黄河铁桥。8月21日拂晓，解放军第二、十九兵团集中9个团对马家山、营盘岭、狗娃山发起试攻，但由于敌人凭借有利地形和坚固的工事顽抗，结果激战一日未克。彭德怀司令员决定停止攻击，用三天时间，进行动员，总结经验，侦察敌情，查看地形，研究改进战法。彭德怀和各兵团首长认真总结经验教训，重新调整部署了作战任务；六十三军攻击东岗、十里山、窦家山阵地，得手后向响水子沿河警戒；六十五军进攻马家山、古城岭敌一○○师阵地，歼敌后向城东关推进；第六军进攻营盘岭敌二四八师阵地，尔后向城南关发展；第四军向沈家岭、狗娃山敌一九○师阵地进攻，后向城西关前进；第三军向七里河进攻，并以第七师配合兄弟部队攻占狗娃山后，沿黄河南岸东进，夺取黄河铁桥，第九师攻占七里河地区并配合第七师夺取西关，控制黄河铁桥，第八师封锁兰新公路重要山隘。
攻击前夕，彭总多次亲临前沿阵地，观察地形，与进攻部队商议作战方案。一天，彭总来到六军军部所在地邵家泉。这里位于兰州正南方向，可以看到即将进攻的皋兰山的概貌。彭总登上对面的山头，站在一个高坎上，举起望远镜向皋兰山了望观察。皋兰山以营盘岭为最高，能否拿下它，是六军能否胜利完成这次战斗任务的关键。
彭总指着营盘岭下面一个名叫下庄的村子对军长说：“根据这个地形和敌人设防的重点，你们要很好地组织侦察弄清敌人火力，再好好研究一下，如何从正面突破。”当军长向彭总提出作战的想法：主攻部队在强大炮火支援下从下庄正面攻击，以少数兵力从侧翼助攻，吸引敌人火力，正面得手后再入两翼投入兵力。彭总点了点头说：“这样才好。”
8月23日，彭总来到六十三军前沿阵地观察，就地召开了准备担任主攻部队师以上干部会议，总结试攻的经验教训，部署下一步作战任务。彭总说：“兰州战役关系到西北解放的全局。
一定要不惜一切代价拿下来。窦家山是兰州的东大门，一定要把它打开。”又说：“马步芳军队为今日敌军中最有战斗力的部队，在全国也是有数的顽敌，我们对它要有充分的估计，并作充分的精神准备，力戒轻敌骄傲急躁。进攻中，须充分准备歼灭敌人反冲锋部队，组织消灭敌人反冲锋火力，构筑抗击反冲锋工事。”
彭总来到十九兵团指挥所，对兵团司令员、政委说：“部队试攻受阻，其主要原因是轻敌，次要原因是敌工事坚固，敌人顽强。”“不过，通过试攻，也达到了了解敌人的目的。你们要告诉部队沉住气，总结经验教训，仔细研究敌人，扎扎实实地做好准备工作，待命向敌人发动总攻。”
8月25日拂晓，三颗红色信号弹腾空而起，划破清晨的宁静。总攻兰州的战斗开始了！解放军强大的炮火向盘踞在沈家岭、狗娃山、营盘岭、马家山的敌人主要阵地开始猛轰。霎时万炮齐鸣，天崩地裂。敌主阵地淹没在一片火海之中。经过30分钟炮火的猛烈轰击，敌人的大炮变成了哑巴，敌阵地上尸肉横飞，一片混乱。在炮火的掩护下，解放军突击部队发起攻击，击退了敌人一次又一次反扑，一步一步向前推进，经过激烈的争夺战，到下午7点，敌军全线溃退。解放军发起追击，在市区展开巷战，歼灭大量敌人。26日中午，解放军占领黄河北岸的白塔山，城内残敌全部被歼，兰州宣告解放。经过30多小时的激烈战斗，解放军共歼灭敌军2 7万多人，使马步芳主力遭到毁灭性的打击。
兰州战役刚一结束，彭总高兴地说：“马步芳这一次给我们办了一件大好事。要是他当初丢下兰州继续撤退，想消灭他还真得费点时间呢！他想用一计把我们消灭在这兵家必争之地的兰州。但是，他万万没有料到，我们却将计就计来了个釜底抽薪。”
向兰州背后进行迂回包围的第一兵团，经过长途跋涉，于9月2日，占领民和县和河口镇，9月5日占领了马步芳的老巢——西宁。马步芳在青海的反动统治被彻底推翻。
在兰州，人民政府和各界人民对亲人解放军进行了声势浩大的慰问活动。中央和西北各省都派来了文艺团体进行慰问演出。在“三爱堂”慰问大会上，慰问团总团长代表西北五省人民，向彭总赠送了锦旗。彭总代表第一野战军和西北军区全体指战员在致答词中说：“西北解放，……是党的胜利，人民的胜利！人民政府和各族人民高度赞扬我们，热情慰问我们，是对子弟兵的爱戴和鼓励，我们切不可以功臣自居，务须力戒骄傲。”
看了看欢天喜地的人群，彭总继续说：“西北解放了，新中国成立了，但是革命尚未成功，任务还非常艰巨。……我们决不能松懈斗志，刀枪入库，马放南山，必须紧握手中枪，为人民再立新功！”在慰问活动期间，彭总夫人浦安修将慰问团送给彭总的糖果分送给司令部的同志们，她说：“彭总说了，这是慰问大家的，我彭德怀只是一个代表，没有大家的努力，我彭德怀能打胜仗吗？”