北伐战争结束后，原直系的吴佩孚、孙传芳势力被一扫而空，张作霖在退回关外时被日本人炸死，奉系元气大伤，蒋介石、冯玉祥、阎锡山及李宗仁的桂系则异军突起，成为主宰大局的新军阀。
“共患难易，享富贵难”，新崛起的这四家很快便在战后的地盘分配上发生了尖锐的矛盾。原来，西北军长期局促于西北瘠苦之地，他们迫切希望向外发展，正如冯玉祥说的：“我们连个海口也没有，向国外购买一些军事装备，真是太不方便。”北伐后期，冯玉祥派鹿钟麟指挥韩复榘等部在河北击退奉军并直取平津立下汗马功劳，因而冯玉祥认为论功行赏，河北、平津理当划到西北军的名下。
对此，阎锡山与蒋介石不以为然，阎锡山也想向外发展，这块地盘同样志在必得；蒋介石则认为西北军扩张太快，将影响到自己的领袖地位，所以要挑拨并利用冯玉祥与阎锡山之间的矛盾。搞笑的是，冯玉祥这个人一向担心别人说他争权夺利，尽管他是想拿下这块地盘的，但他又不明说，因而蒋介石趁势将河北、平津划给了阎锡山，理由是冯玉祥已经有了鲁、豫、陕、甘、宁、青六省的地盘，而阎锡山只有冀、晋、察、绥四省，应该平衡一下；再者，列强在平津两地势力深厚、关系复杂，冯玉祥性格刚直，对外交并不内行，因而交给阎锡山应付为宜。
冯玉祥吃了个哑巴亏，但他又不便当场反对，因为在之前的一段时期，冯玉祥与蒋介石的关系搞得一团火热，蒋介石答应帮西北军解决经济上的困难，冯玉祥则公开表示了对蒋介石的拥戴。从名义上来说，蒋介石、冯玉祥两人还是刚换谱的弟兄，特别在北伐战争结束后，冯玉祥为了表达对蒋介石的拥护，甚至要在郑州为蒋介石铸造铜像（经左右劝阻未果）。
话虽如此，兄弟之间翻脸不认人也实属正常，何况是这种“萍水弟兄”。在失去河北和平津后，冯玉祥给自己的部队讲话，说“地盘要小，军队要少，工作要好”，说白了就是对此事大发牢骚。
紧接着，各派系又于1929年1月在南京召开全国编遣部队的会议，冯玉祥对此倒是非常积极，他提出了一个编遣准则：“强壮者编，老弱者遣；有枪者编，无枪者遣；有训练者编，无训练者遣；有革命功绩者编，无革命功绩者遣。”按照这一准则，冯玉祥提出一个方案，即第一、第二集团军（即蒋介石、冯玉祥）各编十二个师，第三、第四集团军（即阎锡山、李宗仁）各编八个师，其他不属于各集团军的军队共编八个师。
冯玉祥原本以为，西北军“兵员最多、素质最好、训练最精、战功最大”，理当多编几个师，但要超过蒋介石的话，也不太好，于是计划将第一、二两集团军拉平，把阎锡山、李宗仁的第三、四两集团军和其他杂牌军压低，他自以为这样就可以蒋介石、冯玉祥的团结为中心，控制其他方面……但冯玉祥的想法也未免太天真。
作为北伐后名义上的领袖，蒋介石当然无法容忍其他派系的兵力超越或者与之平行，而阎锡山也不会被冯玉祥给轻易地打压下去，于是他也提出一个方案，那就是第一、二、三、四集团军各编十一个师，另设一个中央编遣区十一个师。这个方案实质上是要“抬蒋压冯”，因为“中央编遣区”的十一个师是由蒋介石掌握的。蒋介石对这个方案很满意，而势力最小的李宗仁、白崇禧的桂系见自己与冯玉祥、阎锡山平起平坐，当然也就双手赞成。
冯玉祥见自己的方案遭到众人的反对，于是在正式开会时“称病”不再出席。有一次，冯玉祥正与部属谈话，孔祥熙突然来访，冯玉祥赶紧钻进被子，捂得大汗淋漓并假装呻吟不止。此事传出去后，得知内情的人都暗笑冯玉祥患的其实是“心病”！到后来，冯玉祥干脆离开南京，跑到豫北辉县百泉村“养病”去了。
在蒋、冯矛盾尚未完全公开化时，李宗仁、白崇禧、黄绍竑的桂系因争夺湖南地盘而与蒋介石集团抢先翻脸，结果引发了1929年初的“蒋桂战争”。在进军之前，蒋介石以行政院长和两湖地盘为条件，拉拢冯玉祥南下夹击桂系，冯玉祥则玩起了“卞庄刺虎”的把戏，他一方面暗中许诺李宗仁出兵相助，另一方面则答应蒋介石南下进攻，实际上是坐山观虎斗，兵发迟迟，既不攻桂，也不援蒋，而是等蒋桂两败俱伤后坐收渔翁之利。
但“蒋桂战争”的发展却出乎了所有人的预料，由于桂系将领李明瑞的突然倒戈，李宗仁等的军队迅速溃败，蒋军则以迅雷不及掩耳之势攻占了武汉。这下，冯玉祥投机不成反弄巧成拙，非但失去了夺取武汉的时机，就连被他催促南下的手下大将韩复榘也被蒋介石暗中收买了过去。
眼见自己的图谋被蒋介石识破，冯玉祥干脆撕下面纱，决定武装反蒋并自任护党护中国军队西北路总司令。开战之际，冯玉祥认为西北军的战线拉得太长，为防止腹背受敌，冯玉祥决定收缩兵力，放弃山东、河南地盘并将军队全部西撤，集中在豫西、陕西待命。用冯玉祥的话来说，这叫“拳头收回来之后，打起来更加有力”。
但是，冯玉祥的一些部将并不理解这个策略，因为陕西连年荒灾，生活困苦不堪，他们之前是尝过这个苦头的，因而不愿意回到贫瘠的西北去。在蒋介石的拉拢和分化下，韩复榘、石友三及西北军的外围部队刘镇华、杨虎城、马鸿逵等部纷纷叛冯附蒋，令冯玉祥军力大损，未战而败。无奈之下，冯玉祥只好通电下野并声称入华山读书，实则是以退为进，避战自守，令蒋军失去进攻的口实。（注：韩复榘与石友三在1926年南口大战时，曾因西北军大败而短暂投靠了阎锡山，颇为西北军将领所不齿，这次投蒋也与此相关。）
冯玉祥的下野并没有得到蒋介石的认可，其坚持冯玉祥必须离开军队、出国游历，战争方可结束，在这种情况下，阎锡山跳出来表示愿意做个和事佬，为双方做个调停。蒋介石对此未置可否，冯玉祥则积极响应，于是阎锡山便亲赴运城将冯玉祥接到太原，并随后将之安置在自己的家乡五台县（离阎锡山的老家河边村有数里之遥）。
在李宗仁、冯玉祥相继失败后，阎锡山的举动颇引人关注。据阎锡山手下的炮兵司令周玳回忆，阎锡山这一时期经常对手下的高级将领和幕僚纵谈国家大势，说“蒋介石虽然占据江南，但他的内部很不稳固。如汪精卫、胡汉民等恨蒋的人很多，李宗仁、白崇禧更是恨他”；又说“袁世凯是最厉害不过的，我都应付过去了，蒋介石不如袁世凯多了”；“蒋介石这个人器量狭小，排除异己，遇事操之过急，终不能成大事”；阎锡山还说“汉阳兵工厂只能制造轻武器，我们还能制造炮兵等用的重武器”（当时太原兵工厂能批量生产迫击炮和手提机关枪即冲锋枪）。阎锡山的话，隐约透露出逐鹿中原的打算。
以阎锡山的资格，当然比冯玉祥、蒋介石、李宗仁都要老得多，在辛亥革命的时候，他已经当上了山西都督，时年不过三十岁。在袁世凯时期，阎锡山韬光养晦、战战兢兢，未有大的作为，直到袁世凯死后，阎锡山才真正掌握了山西的军政大权并成为地方军阀中的不倒翁。相比冯玉祥，阎锡山要更圆滑也更有心计，譬如在开编遣会议时，阎锡山提前装病，直到冯玉祥等人已经出好牌后，他才后发制人，占了很大的便宜。事后，阎锡山还得意地对手下说“我们迟来的办法做对了”，“等到他们闹成分裂之局的时候我再去，那时双方都需要我，那就好了”。
正因为如此，阎锡山邀请冯玉祥入晋既有讨好冯玉祥的意思、也有“挟冯自重”的用意。冯玉祥到山西后，实际上是被阎锡山变相软禁了起来，而阎锡山却对外宣称要与冯玉祥偕同出洋考察，消弭战祸。蒋介石接电后大为惊异，急忙对阎锡山加以挽留而只要求冯玉祥一个人出国。由此，阎锡山又将自己的地位提高了一大截，几乎可以与蒋介石平起平坐了。
蒋介石虽然比冯玉祥、阎锡山年轻几岁，但也不好对付。之前蒋介石虽然把平津分给了阎锡山，但蒋介石很快派宋子文到北平划分国家税和地方税，阎锡山只好将平津税收机关的晋方人员撤回，条件是财政部支付京津地区晋军的饷项。但财政部实行一个月后便停止支付，阎锡山大呼上当，于是借口北伐时期山西省银行曾垫付3000万元作为军费，因而向财政部申请发行省公债作为弥补，不料蒋介石很快将之驳回。
阎锡山气得要命，他怒气冲冲地把桌子一拍说：“以前，我以为蒋介石还可以相处，不料他这样排除异己，现在居然逼到我的头上来了！”“我很后悔北伐时垫此巨款，这件事我们做错了。现在蒋要用经济手段把咱们困死，咱们没有错，他不敢用兵来打咱们，只有在经济上来困死咱们。”像阎锡山这种凡事都要打算盘的人，蒋介石的做法对其刺激很大，于是坚定了他反蒋的决心。
而在冯玉祥被阎锡山软禁期间，西北军群龙无首，部分将领开始与蒋介石来往，甚至密谋攻打山西，这让阎锡山感到十分不安并感到软禁冯玉祥毫无用处，于是便亲赴建安村将冯放出，并表示愿与之合作，共同讨蒋。冯玉祥对此当然是求之不得，随后便于1930年3月初返回潼关，准备对蒋开战。
冯玉祥属下的鹿钟麟等将领本已策划好向山西进攻，但冯玉祥的归来及转变令他们措手不及。西北军与晋军在历史上颇有仇怨，如1926年初的南口大战，西北军（当时叫国民军）被张作霖的奉军及吴佩孚的直军打得大败，而阎锡山又趁机腰击其后路，差点令西北军全军覆没；在北伐战争后期，正当晋军与奉军在保定方顺桥苦战之时，冯玉祥突然令前线的韩复榘部撤至石家庄，几乎令晋军陷入重围。因此，双方将领都存在互不信任的对立情绪。
在冯玉祥宣布联合阎锡山共同讨蒋后，其手下的大部分将领都默不做声，因为他们认为西北军屡次吃阎锡山的亏、受阎锡山的骗，倒不如把阎锡山打倒，就连冯玉祥最宠信的将领孙良诚会后也发牢骚说：“我看先生（指冯玉祥）一点觉悟也没有，我们这些年来一直受阎老西的害，为什么还要和他一起干？”
西北军将领对“联阎打蒋”计划普遍抵触的原因还不仅仅是历史仇怨，更重要的是，他们对冯玉祥与阎锡山的能力特点多有了解：冯玉祥只会打仗，对政治完全外行；阎则是一个钱铺老板，只会算小账，不能成大事；联阎反蒋，纵然在军事上取得胜利，在政治上也毫无办法。正如鹿钟麟的一个幕僚说的：“如与阎合作，胜亦过不了长江，蒋退江南凭险固守，阎冯之间就会出问题，那时，西北军仍然处于腹背受敌的不利地位。如果打了败仗，那就更不堪设想了，甚至求得退据关中以自保的局面亦不可得。”
但是，冯玉祥对此却很乐观，他曾对幕僚说：“这次举动，在军事上，二、三、四三个集团军联合对付蒋介石一个集团军，其它受蒋排斥的军队也都倾向于我们，我们的兵力占有压倒的优势；再从政治上看，汪精卫先生已表示和我们合作，西山会议派的中委也和我们合作，张学良表示也很好，足见我们是得道多助，蒋介石是失道寡助，胜利一定是属于我们的。”除此之外，冯玉祥暗地里还认为，只要消灭了蒋介石，那阎锡山就不难对付（冯玉祥私下里常骂阎锡山是个“窝囊废”），届时不但北方全归西北军所有，一统天下也不是没有可能。
可笑的是，阎锡山打的也是这样的算盘。当部下提醒他冯玉祥系屡屡倒戈之人并在保定方顺桥所做之事时，阎锡山摆摆手说：“你们不能老是看过去。要知道蒋介石几次要收拾冯玉祥，冯玉祥对蒋介石恨极了。现在我要他和我共同打蒋介石，这是他求之不得的，一定会竭尽全力，并且，他好贪眼前的小利，只要我们在物质上能满足他的欲望，哪能再生半途捣乱之心呢。他固然很狡猾，打完蒋介石之后，可能会捣乱，但他是个老粗，没有远见，我自有办法对付他。”
在冯玉祥与阎锡山正式联起手来后，其他反蒋势力也纷纷靠拢，如之前被蒋介石打败的李宗仁之桂系及张发奎之粤军，还有在政治上与蒋争权失败的汪精卫一干人，甚至张学良的东北军也有信使来往。开战之初，各方面反蒋声浪很高，阵容也很强大，但桂系及粤军在湖南发动的攻势很快失败，自顾不暇，而西北军、晋军在津浦线、陇海线、平汉线与蒋军的交战也是各有胜负，谁也没有取得压倒性优势。
在几个战役之后，西北军方面的兵员损失及械弹消耗明显加大，而阎锡山答应的补充迟迟不到位，西北军难免心存疑虑，由此产生了保存实力的想法。在此情况下，蒋军越打越强，反在津浦线上将晋军击败，收复济南；而西北军在陇海线上的8月攻势也因为雨季而受阻，双方态势为之一变。就在这时，张学良于9月18日发出通电拥蒋，东北军大举入关，阎锡山、冯玉祥的失败已无可挽回。
在败局已定的情况下，阎锡山与冯玉祥只得于10月8日通电下野，整个中原大战于11月初结束。中原大战是中国近代史上一次规模仅次于解放战争的国内战争，其间历时7个月，各方动员兵力110万人以上，支出军费5亿元，死伤30万人，战火波及20多省。
战后，阎锡山宣布出洋考察，但他只到大连躲了一段时期便于次年回到山西老巢；冯玉祥则始终没有出国，但他惨淡经营二十余年的西北军则在这场大战中土崩瓦解：孙连仲、吉鸿昌、梁冠英等部投蒋；张自忠、刘汝明、赵登禹等部及之前随韩复榘变节的石友三部投张学良；韩复榘之前已经自立门户……
冯玉祥的失败并非偶然。正如原国民三军徐永昌说的，冯玉祥所部最初有“五虎将”之称，即张之江、李鸣钟、鹿钟麟、石敬亭、宋哲元，皆前清第二十镇同事或有关系者，后来在第十六混成旅当团营长。但后来又有小“五虎将”出现，即韩复榘、石友三、孙良诚、孙连仲、张维玺，皆第十六混成旅士兵出身。冯玉祥的老朋友、西北军的交际处长张树声也说：“冯先生是一定要亲自孵出的鸡娃，才会下蛋。”意思是冯玉祥只相信自己教育出来的将领，而且喜欢越级指挥，中间的高级将领往往被架空，造成指挥紊乱。
另外，冯玉祥统率的西北军就像一个封建大堡垒，冯玉祥就是大家长，作风专断，缺乏民主，一些由士兵提拨起来的带兵官如韩复榘等，即使已经当了军长乃至当了省主席，冯玉祥对他们仍然像对待子侄一样，不肯给予应有的尊重和礼貌，甚至他们在他面前连吸支香烟的自由都没有。因此，部分高级将领便觉得太受拘束，开始另谋出路了。
经此沉重打击后，冯玉祥一蹶不振，不再有东山再起的机会；蒋介石则利用这次战争扩展了自己的地盘并大大提高了在国内的威望；另一个获利者张学良，也趁机杀回关内，并从阎锡山的手中重新取得了京津地区的控制权；阎锡山的晋军也分出了商震和傅作义派系，力量有所削弱。一言而蔽之，中原大战实则是北伐战争之后的又一次大洗牌。