黄埔军校开设之时只有极少军械，后来蒋介石通过私人关系从石井兵工厂搞到500支步枪，而黄埔军校第一期学生于1924年6月16日入学为499人，同年11月30日毕业合格者为456人，这500支步枪及第一批学员，也就成为蒋介石发家的第一笔本钱。
在访问苏联期间，蒋介石将其主要精力用于考察苏联红军各兵种、军事院校、兵工厂以及红军的编制、管理、政治工作、党代表制度等，而在后来的黄埔军校及军队建设上，蒋介石也运用了其中的部分经验，但这点并不是最重要的。对蒋介石来说，访苏的经历奠定了其出任黄埔军校校长的坚实基础，并为其之后的飞黄腾达打开了通衢之路。
在孙中山所领导的革命团体中，蒋介石的排名并不靠前，但前面的几个人如胡汉民、廖仲恺、汪精卫三人都不具备军事经验，唯独蒋介石拥有正规的军校学习履历并具备相当程度的军事经验（其在许崇智的粤军多次担任过参谋长）。许崇智是早期的日本士官学校毕业生并在清末时已经做上协统（其叔祖父曾任浙闽总督），论资格比蒋介石要老得多，但他过于奢靡的军阀生活作风则为党人所不喜。
在当时来看，黄埔军校校长在国民党内可能并不算是特别显赫的职位，但其潜力却是无穷的。1924年1月24日，在蒋介石被任命为陆军军官学校筹备委员会委员长后，孙中山亲自前往拟定校址察看，最终将校址设在黄埔岛，也就是原广东陆军学校及广东海军学校校舍，因而新办军校又名“黄埔军校”（正式名称应为“国民革命军陆军军官学校”）。
黄埔岛位于离广州20多公里的珠江下游，岛上有一座长洲要塞，这里四周环水，虽环境幽静，却是拱卫广州之水路要冲。孙中山认为，在这样一个军事重地进行学习与训练实属相得益彰，这也符合了蒋介石当时的办学理念：“不要以为学习与打仗是两回事！”
据黄埔军校教授部主任王柏龄回忆说，军校筹办之时，各人都认为训练期间至少一年，而蒋介石独称三个月，并说如果再延迟的话，中国可能在此期间已经亡国云云；最后，才折中为六个月。军校开办之初，蒋介石几乎将全部的时间与精力都倾注于此，从教官的选任、教学的内容，到学员的训练、校务的管理，甚至到军服的设计、校舍的卫生，无一不经蒋介石亲身的参与并决定。
蒋介石常说，“第一期学生可说是我个人亲自指导出来的多”，正因为如此，黄埔一期生最为蒋介石所重视，其中出人头地的比比皆是，如宋希濂、胡宗南、余程万、关麟征、蒋孝先、黄维、王耀武、郑洞国、杜聿明、孙元良、李仙洲、李默庵、范汉杰、陈明仁、钟伟、贺衷寒（以上为国民党方面）、左权、徐向前、陈赓、周士第、侯镜如、宣侠父（以上为共产党方面）等。1926年1月，在黄埔一期生毕业未及一年半，蒋介石在对后几期学员的讲话中透露：“第一期学生原只有四百六十名，但连第二、三、四期已毕业、未毕业的，今天共有五千四百四十名学生了。可是第一期学生，而今只存一百四十名，其余非死即伤。”蒋介石的这段话，也从侧面揭示了军功升迁的残酷性。
在经济上，黄埔军校开创之初也是极端困难的。当时廖仲恺名义上虽然是党代表，但实际任务却是为黄埔军校筹款。据廖仲恺的夫人何香凝回忆说，黄埔军校开办时常无隔宿之粮，廖仲恺为了筹措米饭菜肴经费，时常要忙到深夜两点多钟才回来。有一次，廖仲恺凌晨四点才回来，他说：“我晚上在杨希闵家，等他吸完了大烟才拿到这几千元钱给我，不然，黄埔学生再过两天就无米食了。”王柏龄也说，蒋介石当时为了筹集经费，也是经常亲自出面向外借钱，有一次借来的尚是汪精卫夫人陈璧君的私蓄，条件是日后加倍奉还！
当时的广东，东江一带系陈炯明势力控制，南路有军阀邓本殷，广州一带的税收则是滇系军阀杨希闵、桂系军阀刘震寰所把持。滇军将领范石生曾对李宗仁述及当时广州的情景：“有时我们正在烟榻上吸烟，忽然部属来报告说‘大元帅来了’，我们便放下烟枪，走出去迎接大元帅，回到烟榻房间坐下，请问大元帅来此有何指示。如果是谭延闿或胡汉民来访，我们就从烟榻坐起，请他们坐下商谈。有时蒋介石也来，我们在烟榻继续抽鸦片，连坐也不坐起来的。”李宗仁听后，觉得无限心酸，但他也承认，范石生说的确系实情。当时孙中山的大元帅府因政府财源无着，有时甚至无米为炊，黄埔军校之艰难，可想而知。
创业固然艰苦卓绝，但从1924年黄埔建校到1926年进行北伐前的这段时期，则是蒋介石打造自己干部队伍及发展壮大嫡系军队的关键时期，其间又主要有四大事件可圈可点，即平定广州商团叛乱，第一次东征，平定杨希闵、刘震寰军阀叛乱及第二次东征。
1924年8月初，就在黄埔一期生入学不久，一艘悬挂着挪威国旗的洋轮“哈佛号”从香港驶至广州，经查，船上计有长短枪近万支，子弹300余万发，系广州商团向香港南利洋行订购的。此事件发生后，这批枪械被扣，广州商团则发动罢市抗议，要求发还枪械。
罢市发生后，靠截取广州、佛山一带税收自存的滇军介入调停，其以商团向政府报效50万元为条件，请求当局将枪械发还，但数天后因为“江浙战争”爆发，孙中山认为北伐时机已到，随后亲率大本营北上，归还枪械也就无从实施，因为部分枪械子弹已经北调（北伐队伍断无不使用新式枪械的道理）。为筹措北伐军费，大元帅府提出商团须额外代筹北伐经费300万元为发还军械的条件，双方在争持不下的情况下，广州商团于10月初联络广州及100余个县镇发动笫二次罢市。
在此期间，孙中山命蒋介石率领黄埔军校学生北上韶关参加北伐的军事行动，但遭到蒋介石的拒绝，蒋介石复电称：“埔校危在旦夕，中正决死守孤岛，以待先生早日回师来援。必不愿放弃根据重地，致吾党无立足之地也。中正料不久逆敌必反攻韶关，各军非准备南下，击灭逆敌，断难北伐。中正当死守长洲，尽我职务。”
蒋介石所说的“危在旦夕”，实指商团之乱，因为黄埔军校训练刚刚开始，“三个月内，必有一支劲旅，可作基干之用，以之扫荡一切残孽，先图巩固革命根据地之广州”，一旦广州有失，非但北伐失去后方基地，“吾党永无立足之地”。正因为蒋介石的坚持，黄埔军校才没有变成“韶关军校”，而从后来的历史来看，蒋介石的坚持是对的，孙先生的北伐仍以失败而告终。
所幸的是，第一批苏联援助的武器在“沃罗夫斯基”号的载运下于10月7日抵达广州，计有步枪8000支、子弹400万发，另有野炮、山炮、轻重机枪等重武器，商团武器及实力已无足轻重，解决商团引发的危机也恰逢其时。在孙中山的命令下，大元帅府从韶关调回的三千湘军为主力，以民团及黄埔一期的第二、第三队学员为辅助，向商团武装发起了最后的猛攻。这次战斗进行得并不激烈，天未明前开战，至晚间商团即战败乞和（商人毕竟舍不得本钱）。三天后，黄埔一期的学员举行了毕业典礼。
在黄埔军校的学员陆续入校的同时，蒋介石又在江浙、安徽等地募兵（以陈果夫在上海的交易所为中转站），准备建立教导团。黄埔一期的学生毕业时，教导团也已编练成军，黄埔军校军事总教官何应钦出任团长，军事教官陈继承、顾祝同为营长，连长则由原毕业生中的队长充任，一般毕业生任排长或者班长。一个月后，教导2团成立，王柏龄出任团长，蒋鼎文、郑洞国等出任营、连长。这支武装，其骨干力量均为黄埔军校人员所组成，因而当时又被称为“校军”，这也是蒋介石亲手打造的第一支队伍，后来的军队扩张均以此为基础。这支部队的成员，后来大都成为国民党的高级将领或官员，即“黄埔系”之摇篮也。
在此期间，苏联的援助至为重要。在第一批军械解了燃眉之急后，苏方又于1925年后运来第二批军械，价值56万卢布。1926年运来四批军械，第一批有日本制造的来福枪4000支，子弹400万发，军刀1000把；第二批为苏联造来福枪9000支，子弹300万发；第三批有机关枪40挺，子弹带4000条，大炮12门，炮弹1000发；第四批为来福枪5000支，子弹500万发，机关枪50挺，大炮12门。除此之外，还提供了一定数量的通讯器材等。
苏联援助的这些军械及器材，蒋介石拿到了大头，但在北伐之后也分出一批给其他部队，如李宗仁的第七军也曾领到过1000支步枪和少量通讯器材。不过，苏联在北伐前后不仅给广东革命军提供过军事援助，其在北方也给冯玉祥的国民军提供过至少同等数量的武器援助。除了军事援助之外，苏联还为广东革命政府提供了一定的经济援助，其中光黄埔军校的办学经费可能就达到200万卢布之多，这也是黄埔军校每一期的学员从几百迅速扩展到上千的重要原因。
1924年10月下旬，在击败商团武装之后，著名的苏联军事顾问布留赫尔，也就是为中国人所熟知的加伦将军，来到了广州（加伦的前任、原苏联军团长巴·安·巴甫洛夫，在当年7月赴东江前线视察时意外落水身亡）。这位不太带政治色彩的苏联军事将领的到来赢得了包括蒋介石、李宗仁等在内的中国将领的一致称赞，其影响与当时的政治总顾问鲍罗廷称得上并驾齐驱。除了加伦之外，苏联还派有步兵、炮兵、工兵等教练官不下百人，另有至少同等数量的苏方政治顾问，活跃在广东革命政府的各级机构中，这也给各省军阀及英、日等列强诬称广东“赤化”落下了口实。
对于苏联在人力、物力、财力上的多方支持，蒋介石在与苏方闹翻前曾半客观半感谢地说过：“我们今天能够消灭叛逆，达到这个目的，大半可说是苏联同志本其民族的精神、国际的实力与革命的使命，以至诚与本党合作，帮助我们中国革命的效力。”不错，蒋介石访苏期间不能说是满载而归，但在北伐前的这段时间里则无疑是最大的获益者。
1925年2月，陈炯明趁孙中山北上之际，企图向广州反扑。广州革命政府得讯后当机立断，决定以黄埔军校“校军”为右路、杨希闵的滇军及刘震寰的桂军为左路，向陈炯明势力所控制的东江地区（今惠州以东至汕头一带）发起进攻，时称“第一次东征”。当时的黄埔军校“校军”虽只有两个教导团，兵力也不多，但其骨干均为黄埔军校毕业生，因而战斗力特强，成为东征军的绝对主力。
东征军兵至常平时，蒋介石作《常平站感吟》一绝：“亲率三千子弟兵，鸣鹤未靖此东征。艰难革命成孤愤，挥到长空涕泪横。”此次东征是蒋介石及黄埔军校学员所面临的第一次重大考验，容不得半点的犹豫与闪失。在淡水一仗，黄埔教导第2团第1连连长孙良因抵挡不往而擅自退却，蒋介石下令当场处决；而担任主攻的教导2团1营营长沈应时作战英勇，负伤不下火线，蒋介石立即提拔其为第2团团长。在子弟兵的奋勇作战下，右路军在淡水之役中大获全胜，降敌千余人，缴枪千余支，奠定了第一次东征胜利的基础。
但就在右路军一路凯歌之时，左路的杨希闵、刘震寰两部非但懈于作战，还暗中与陈炯明部相勾结，致使东征右路军陷于险境。3月中旬，蒋介石亲自指挥的右路军与陈炯明部将林虎部在棉湖、鲤湖一带激战，当时何应钦的教导1团被十倍于己的敌人包围，几不能支（蒋介石与廖仲恺亦被围）。在苦撑一天后，教导2团、粤军第7旅等援军及时赶到，林虎部主力被一举消灭。黄埔“校军”的两个教导团2000人，加上随军行动的黄埔学生500人，在这次棉湖之战中共阵亡600人，仅教导1团即阵亡300人。
值得一提的是，两军激战之时，孙中山于1925年3月12日9时30分去世，此消息一直被封锁到棉湖之战结束才宣布。而在这时，云南军阀唐继尧勾结杨希闽及刘震寰等部军阀，企图东进夺取两广地盘，这使得蒋介石不得不指挥东征右路军回师广州，而陈炯明也由此苟延残喘，再获生机。
杨希闵与刘震寰原本是起家于云南、广西的旧军阀，他们在陈炯明叛变之时曾与许崇智所率的粤军在1923年初将陈炯明赶出广州，但此后即把持了省府一带的税收，以广州为采邑，并通过保护烟赌而大肆敛财，已成广东革命政府之毒瘤。在唐继尧攻占广西南宁之后，杨希闵、刘震寰也率兵撤回广州，以策其乱。在此情况下，蒋介石将两个教导团扩编为党军第1旅（旅长何应钦），于5月中旬向广州挺进。在谭延闿、朱培德、李济深、李福林等友军的协助下，杨、刘叛乱被一举平定，此战共俘虏17000人，缴枪16000支。6月13日，蒋介石率师凯旋，随即被任命为广州卫戍司令。
通过第一次东征及平定杨、刘叛乱所获得的大量兵源（俘虏）、武器及银元，蒋介石迅速将自己的兵力扩张为两个师，分别由何应钦、王懋功充任师长，并在此基础上成立国民革命军第一军。9月，许崇智被蒋介石软禁并驱逐，所部粤军或遣散或改编（其中一部被改编为第三师，隶属于蒋介石的第一军）。10月，广东革命政府以第一军、第四军为基干组成东征军，再次征伐陈炯明，意在彻底消灭之。至11月底，陈炯明所部3万余人除七八千人投奔山东直鲁联军外，其余全部被歼，被国民党人所痛恨的陈炯明自此一蹶不起，而蒋介石的威名由此传遍了整个广东。
黄埔军校的校门上，高挂着蒋介石亲笔书写的“亲爱精诚”四个大字；二道门的两旁，挂着的也是蒋介石手书的“先烈之血，主义之花”对联；北校场大门的对联：“升官发财请往别处，贪生畏死勿入斯门。”主义虽好，但都是靠鲜血与性命换来的。所谓“乱世抓枪杆”，蒋介石办军校这条路算是走对了。在三十年前，一代枭雄袁世凯也是通过编练新军打造出自己的“北洋系”，这与蒋介石一手制造的“黄埔系”，岂非异曲同工？