有名无实的统一之后，蒋介石虽高高在上，控制唯一合法的中央政府——南京政府，但事实上不过是占领东南几省的一个诸侯。他环顾当时的中国，自南至北，除他之外，还有五个权力中心：广州的李济深、武汉的李宗仁、开封的冯玉祥、北平的阎锡山以及沈阳的张学良。这种国民党内群雄割据的局面，多少由蒋一手助成。他为了建立个人的军事势力，不惜一再打击党的威信，甚至否认武汉党中央而别立南京中央，开了国民党内军头主义的先河。他又为了早日完成北伐，不惜容纳军阀余孽，并与各派军头妥协，允诺地盘以及其他政治与经济利益，最后造成以国民党新军阀取代北洋旧军阀的后果。
更糟糕的是，北伐完成，若论战功，蒋介石的第一集团军无论如何摆法，必然在四个集团军中“憾”陪末座。号称第一，实居第四，若论功行赏，欲以第一集团军通吃其他各军，必难以服众。“功”之外，蒋之“德”更不堪闻问，即连始终帮蒋抬轿子的丑角吴稚晖，私底下也说：“蒋先生是个流氓底子出身，今已黄袍加身，一跃而为国府主席，自然目空一切。”(《李宗仁回忆录》，页三九四至三九五)“黄袍加身”是宋太祖赵匡胤的故事，明末清初大儒王船山于《宋论》中畅言，宋太祖取天下自知无德、无功，乃重一“惧”字，即懂得谨慎小心的道理，逐步杯酒释兵权，重文偃武，使天下晏然。蒋介石若有慎惧之心，自应面对现实，认可中央与地方均权分治，在联省自治的基础上，更上层楼，以便避免战祸，和平建设，逐步完成真正的全国统一。然而他既无德无功亦不惧，才会“目空一切”，悍然欲以武力征服所有的异己，以遂其迫不及待的中央集权心愿，结果弄得全国骚然，党争无已，兵戈不休，最后酿成中原大战。此役为时之久、杀戮之惨、破坏之厉、百姓之苦，皆为北洋军阀时代所未曾见，
蒋于动武之前，早已有一连串的动作。他于一九二八年六月九日，眼见北伐即将告成，突然宣布辞去党政军各职，其动机不外有二，其一于此紧要关头，撒手不干，必获各方呼吁挽留，以增身价；其二欲“以身作则”，诱各军头效法，如在辞职电文中所谓“此后军权统归政府”云云，以便战后削藩。但这场戏演下来，只遂其一。果然自中央到地方欲请蒋留职的电文交驰，蒋然后于六月十七日打消辞意，要负责到底。三日之后即部署改直隶为河北，北京为北平，并任命新人事，以削阎锡山之权，逼使阎于六月二十七日辞去京津卫戍司令一职。
李宗仁在其回忆录中透霹一则自称“惊人的消息”，谓蒋在北伐刚完成时，已经企图用武力消灭异己。这则惊人消息，是他于一九二八年七月底在李济深家里听到的!
李济深当时住在南京鼓楼附近一座小洋房里，盖因曾兼黄埔军校副校长职，故家中常有黄埔学生出入。某次，有一位粤籍黄埔生去找他，并告诉了他一项特别消息。略谓：
蒋校长此次(十七年七月杪)自平返京道上，曾在蚌埠稍事逗留，并召集驻津浦沿线的第一集团军中黄埔军校出身上尉以上军官训话，训话时，发给每人一小方白纸，并询问大家，北伐完成后，军阀是否已经打倒？认为已经打倒的，在纸上写“打倒了”三字，若认为尚未打倒，则写“未打倒”三字。各军官不知校长的用意，为仰承其意旨起见，概按照事实，做正面的答复。蒋看后大不以为然，遂再度训话说，你们认为军阀已打倒了，其实不然，旧的军阀固然是打倒了，但是新的军阀却又产生了。我们要完成国民革命，非将新军阀一齐打倒不可。蒋氏最后更强调说，只有连新军阀一齐打倒，你们才有出路，你们现在当连长的人，将来至少要当团长云云。(页三九—)
李济深是国民党老军头，北伐初期第四军军长，留守广州，并兼黄埔军校副校长。有军校出身军官将此事相告，不足为奇，何况写纸条的军官必不在少数，人证很多，绝不可能是流言传说。然则蒋视冯、阎、二李为新军阀，已呼之欲出。如果国民革命军的第二、三、四集团军皆为新军阀，则第一集团军岂能例外？蒋无意之间认同了毛泽东所谓“国民党新军阀蒋桂冯阎四派”(见《毛泽东选集》合订本，页四十七)的说法!
动武需要准备，一口难吸西江之水，故蒋同时采取别种步骤。他于宣告北伐完成之际，立即强调军政时期已经结束，将进入训政时期。训政由党，他显然想用党来收军权，然后可由他所控制的党来控制一切。基于此一考量，他处心积虑地要建立与国民党始祖孙中山的亲密关系，造成他才是嫡传与承继革命法统的印象，想要挟“死中山”以令诸侯。在这一方面最具戏剧性的表演，莫过于邀集了连他本人在内的四大集团军总司令，以及麾下芸芸将星，于七月六日到北平碧云寺举行祭奠孙中山灵柩的大典。典礼于八时二十分开始，蒋主祭，冯、阎、李等襄祭，蒋读祭文曰：
维中华民国十七年七月六日，国民革命军既奠北平，弟子蒋中正谨诣香山碧云寺，致祭我总理孙先生之灵曰：溯自我总理之溘逝，于今已三年余矣，中正昔待总理，亲承提命之殷殷，寄以非常之任，教诲拳拳，所以期望于中正者，原在造成革命之武力，铲除革命之障碍，以早脱人民于水火……
此时蒋与宋美龄结婚将近一年，与孙中山已有连襟之谊，不称姻弟，而降格称弟子，实欲着重革命的师承关系，耳提面命之亲密关系，寄以非常之任的特殊关系，而此革命之武力即由其遵孙命而建成。他以主祭者身份，祭告北伐胜利，统一大业完成，更有不辱使命、居功不疑的神态。名为祭告，实在是做给睽睽众目看的。所以他更于开棺瞻仰遗容之际，竟当众扶棺号哭，情同孝子。然而从相陪的目击者如冯玉祥、李宗仁的回忆看，他们并不吃那一套(见冯玉祥《我所认识的蒋介石》，页十六；《李宗仁回忆录》，页五六九)，不过是在看演戏罢了。祭灵哭棺后不到三个月，蒋即议定迎榇南下，积极准备，大肆铺张，并定一九二九年三月十二日为奉安日期，饬令平汉铁路局赶造灵车，向美国订购奉安汽车，训练杠夫百余名。寻因赶工不及，推迟奉安日期至六月一日。蒋介石亲自担任奉安委员会主任委员，经由国民政府下令自五月二十六移灵之日起，全国一律下半旗七天，人民臂缠黑纱七天，并停止一切娱乐、庆典。灵车先自碧云寺移下至北平东站，挂列车十五辆，直抵浦口，由蒋介石领导迎榇，中央大员一律蓝袍、黑褂、白帽、黑履、黑袜，肃立行礼。礼毕，移灵至威胜军舰，渡江上岸，自蒋以次，依序执绋，随灵车到中央党部礼堂，举行停灵礼，仍由蒋主祭，献花上香。然后蒋以下中央委员、特任官六十六人，三人一班，每夕轮流守灵，直至六月一日奉安之期为止。是日灵车启行径往紫金山，杠夫人一百零八名，由蒋介石、孔祥熙引导拾级而上，扶榇入祭堂，举行奉安典礼，再由蒋主祭，献花圈，宣读诔文，行礼如仪。礼成，移榇入墓门，鸣炮一百零一响，蒋等依次进墓门瞻仰，最后集合众人行三鞠躬礼，奏哀乐而礼成。(参阅《奉安实录》)
如此铺张繁费，还要全国人民戴孝，封建帝王色彩已十分浓厚，较之一九O八年光绪皇帝与慈禧太后的出殡大典，有过之而无不及，真是对一个革命家的大讽刺，另一个革命家章太炎实在看不过去，做了一副极为挖苦的奉安挽联：
举国尽苏联，赤化不如陈独秀；
满朝皆义子，碧云应继魏忠贤。
章氏早以孙中山的联俄容共为赤化，但孙之赤化却不如中共陈独秀的正宗；新成立的南京政府，自蒋介石以下，人人奉孙中山为国父，岂非“满朝皆义子”，真可直追明朝权宦魏忠贤了，而魏之墓在香山东麓的碧云寺之后，正是孙死后停灵柩之处，可谓巧合。奉安大典无疑是按照蒋介石的意思办事，死去的革命家让他做此“封建”安排，无可奈何。他做这样安排，感恩图报其次，想回收政治资本的投资，才是真的。
蒋介石于香山扶柩哭灵之后，就动脑筋如何整肃异己，当时他幕下已增添了不少北洋政客策士，不时献计讨好，其中有杨永泰，字畅卿，广东茂名人，欧战爆发后与黄兴、陈独秀等组织“欧事研究会”，战后改名“政学会”，世称政学系，后回任北京国会议员，事段祺瑞，北伐后投靠蒋，任参议，促效永贞朝士献策唐顺宗，削藩权归朝廷故事，建议将地方军头请到中央做官，达到“离窝毁巢”的效果，推行全军整编，以消化地方武力。蒋遂于一九二八年八月八日借在南京召开国民党二届五中全会之便，抛出“军事整理案”，以冀同化异己部队，声称应自“军政时期”迈向“训政时期”，以党治国，并据此提议撤销各地政治分会。但是政治分会之设立，缘由蒋于二届四中全会上主动提出，并有案保留至三大召开时再做决定。蒋之猴急，自难以自圆其说，于是借二届五中撤销政治分会的企图，只好落空。“军事整理案”虽然列入议程，前途未卜。蒋之中央与地方角力，顿成僵持之局。此时适胡汉民回国，亦倡言党权，主张取消政治分会，其动机或与蒋有异，然近程目标一致，令蒋颇有如虎添翼之喜。国民党中执会常务会议乃于十月三日通过“训政纲领”以及“中华民国国民政府组织法”，并于十月八日产生新的南京政府。蒋介石出任国府主席，谭延任行政院长，胡汉民任立法院长。冯玉祥以行政院副院长兼军政部长，李济深任参谋总长，阎锡山任内务部长，李宗仁任军事参议院院长。各政治分会主席一网打尽，尽成中央大员，表面上呈现空前团结。蒋遂于十月十日国庆日率领五院院长在南京宣誓就职，敦促未进京人员尽速上任，欲彼离窝尔后毁其巢，然离窝其难也。
蒋出任主席后，第一件要事就是委任军事训练总监何应钦，积极筹划“全国编遣会议”的召开，亦即是“军事整理案”之实施。统一之后，军队需要编遣，无人置疑，亦得人心，但如何编遣却矛盾丛生。我们觉得蒋要开此会议，原无解决问题的诚意，因无论按冯玉祥存精良的建议，或按阎锡山平均分配的建议，皆非其所愿。他真正想要的是一家通吃，只是不便明言而已。是以开会仅仅是台面上的活动，台面下则另有动作。
全国编遣会议于一九二九年的头一天举行开幕典礼，各集团军总司令与总指挥等六十余人，一起与会参议。蒋介石在会上做了“关于国军编遣委员会之希望”的专题报告，他希望四个集团军，效法明治维新时代的长州、萨摩、土佐、肥前四雄藩，于大功告成之后，“深明大义，毅然决然奉还大政，归命中央”，以及“化除藩兵，改编国军”，统一与集中之后，才能建设现代化国家云云，其意图已甚鲜明。他一心一意要别人“明大义”归还大政，却忘了自己只不过是雄藩之一，自己不率先功成不居，奉还大政，如何教人仿效？反而以明治天皇自居，岂不让其他三雄藩窃笑？然而蒋到底成竹在胸，故讨论时让各藩争吵，而以仲裁自居，编定《国军编遣委员会进行程序大纲》，以收军权于中央，如取消集团军司令部，听候点编等等。但阎、冯等并不满意，主张先休整尔后编遣。结果开了二十六天的会，并无定案，反而激化矛盾，也许正是蒋所预期的。
一如借编遣会议想独揽军权，蒋拟操纵国民党第三次全国大会以独揽党权。他在胡汉民的支持下，决心蛮干。只因国民党改组派分子反对蛮干，他竟以流氓手法大打出手，攻击改组派会场，砖石乱飞，抢夺文件，使许多人受伤，造成“三一四事件”。事后蒋干脆包办大会，其他三集团军总司令均不出席，李济深则被骗到南京后遭扣留，成为蒋、胡清一色的国民党三大，决议十分右倾，同时表达了蒋介石集中党权与军权的决心，并预示将不择任何手段，达到目的。国民党内部的决裂已不可避免，文争武斗接踵而至，以至于演成大规模的战争。
蒋介石想当明治天皇，必须各个击破，若其他三个集团军联手反击，则必败无疑。所以他暂时敷衍北方的阎、冯，首先向桂系第四集团军开刀，冯玉祥于一月中旬即对此表示忧虑，有谓：“此次北伐成功，乃各集团同心协力之结果，一集团不应企图消灭第四集团也。”(《冯玉祥日记》第二册，页五六四)蒋介石号称讨逆，指控桂系违抗中央，其实是中央有计划的削藩行动，所谓欲加之罪何患无辞。李宗仁自统一广西，促成北伐，率八桂子弟兵北进武汉，东下京沪，战功辉煌，造成声势浩大的桂系势力，及击败唐生智，更兼有两湖，兵力益增，至第二次北伐时，形成庞大的第四集团军。白崇禧以前敌总指挥，自武汉长驱京津，分享完成北伐之功。功既足以震主，而李、白虽以蒋为上司，并不事事迁就，羽毛既丰之后，更以方面自任，犹若雄藩。但是蒋自始至终视李、白等为异己，即于共患难时，亦处处防备，桂系与嫡系早已亲疏有别。蒋于第一次下野时更散布桂系逼宫之说，载诸报端，以淆视听，可谓自制矛盾。 (参阅黄绍《新桂系的崛起》，《晨报》一九二七年八月二十四日、八月十七日报道；《李宗仁回忆录》，页四七七)到北伐完成之时，桂系军力已自广西、两湖，延展至平津，一字摆开，南北呼应，而李、白于编遣一事，亦洞察蒋氏心机，并不积极。就蒋氏而言，北伐功成，若不及时兔死狗烹，必至坐大而成心腹之患。再从各个击破的观点看，因近及远，桂系也必然是首当其冲。
古今中外出师必须有名，激而成变，变则有名。桂系势力范围内的湖南省主席鲁涤平，为谭延旧部，蒋介石因谭之关系，里通鲁氏，且经由江西私运大批枪械援鲁抗桂，引起桂系将领的疑惧，导致一九二九年二月十九日驱鲁的“湘案”。李宗仁时在南京，自称事前并不知情，颇恨第四集团军在汉将领夏威、陶钧、胡宗铎的轻举妄动，中了蒋之圈套。(见《李宗仁回忆录》，页三九六至三九七)蒋介石果然抓住机会不放，于二月二十七日以国民党中央政治会议名义，免去夏、陶、胡三人武汉政治分会委员之职。然此一处分尚是前奏，又于三月七日电告李宗仁，以维持中央威信为名，调动军队，进逼鄂东(参阅《国闻周报》第六卷第十一期)，意在动武。但蒋介石不仅仅要惩罚武汉，醉翁之意在于乘此机会，彻底瓦解桂系势力。他为了搞垮白崇禧在平津的实力，不惜以大把钞票支援宿敌唐生智，令其北上活动白属唐部，迫白仓皇南逃，并于三月二十一日任命唐为第五路军总指挥。同时蒋诱李济深离粤，李虽系广东重镇，然身为桂人，与李宗仁交好，为蒋所忌。李济深至上海后，见到自京来沪的李宗仁，对赴京原有顾虑，但经国民党大老吴稚晖、张静江、李石曾等一再劝说，并以蒋介石人格担保为辞，而吴、李又是儿女亲家。李济深终于前往南京，并劝告蒋化干戈为玉帛，蒋佯表同意，李信以为真，电告桂方蒋之态度，并请节制，岂料蒋私下并未停止进兵，李济深于三月十六日得报后，知蒋无信义，即电李宗仁促“调军讨伐，以伸正义”(见《国闻周报》第六卷第十二期)，但为蒋方截获，遂于三月二十一日囚李于汤山。蒋介石不仅欺骗敌人，也玩弄吴稚晖等大老于股掌之间，手段虽然阴鸷，然于同一天内逐白囚李，获致除去桂系南北两翼之目的。
双翼既除，蒋介石于三月二十六日正式下达讨伐令，并亲自督师于九江，以进窥武汉。武汉为第四集团军总部所在，虽桂方巨头李宗仁、白崇禧、黄绍竑俱不在军中，群龙无首，然在夏、陶、胡三将统率之下，拥兵十万，实力非同小可，然而蒋军竟能不血刃而取武汉，并非蒋介石“天纵英明”，而是事前已经收买分化，利用桂系将领俞作柏、李明瑞等不满情绪，以高官厚禄收买，并派特务郑介民至武汉大肆活动，内部已经分化。正当夏威出师之际，又突患白喉，恰将指挥权交给李明瑞，立即倒戈回师，打乱了阵势，不旋踵而溃败。蒋介石仍不罢手，于四月二十五日自武汉转往长沙，部署直捣广西老巢的作战计划。(见《顺天时报》一九二九年四月二十六日报道，另参阅四月十七日报道)李宗仁等自香港经越南，兼程返桂，被迫做孤注一掷，于五月五日组“护党救国军”，通电讨蒋(参阅《中国现代政治史料汇编》第二辑第七册)，为扭转颓势，自东袭取广州。桂军与亲蒋粤军陈济棠等于五月十九、二十两日，激战于芦苞、赤坭、白坭一带，由于蒋命何键率军自湘入桂，桂军因众寡不敌而败北。湘粤联军遂于六月二日攻占梧州，二十七日桂系叛将俞作柏、李明瑞进驻南宁，蒋发表俞为广西省主席。李、白、黄三巨头建立的桂系实力及其第四集团军，至此瓦解。桂系虽未就此烟消云散，但黄金时代已一去不返。蒋介石纵横捭阖得逞，十分得意，但李宗仁是不服气的，在《回忆录》中说：“蒋先生在中国战场纵横数十年，他所凭借的武器，不外金钱收买和分化离间的伎俩，若从纯军事观点立论，则蒋先生实在既不能将将，也不能将兵。”并非酸葡萄的话，征诸历史，蒋之军事伎俩的确不出“金钱收买”和“分化离间”的范围。于伐桂一役，尚是牛刀小试，接着他又施之于阎、冯，作为黩武的利器。