就在这时候，一位国民革命军中颇有声望的将领，却毅然选择了处于低潮中的共产党。就像这次选择一样，后来他在中国革命诸多危难之机，都起到了关键性作用，他有一个响亮的名字：叶剑英。
叶剑英是广东梅县人。据叶氏宗祠族谱记载，叶剑英的祖先是宋朝时由中原南迁的汉人，即所谓“客家人”。
少年时，叶剑英漂泊南洋，习武云南，以后追随孙中山，投奔粤军，于1920年春加入国民党。黄埔军校筹办时，他在讲武堂时的老师王柏龄非常器重他，调来做助手，后被正式任命为教授部副主任。教授部主任就是王柏龄，他也逐渐觉察到叶剑英同廖仲恺、邓演达等国民党左派和一些共产党人过从甚密，曾多次告诫叶不要对政治太热心。叶剑英并不理会，曾想去苏联学习，也向党组织正式提出过加入中国共产党的申请。中共组织接到叶剑英的申请后，派熊雄同他谈过一次话，谈后却一直没有回音。后来，他才得知个中缘由：当时，中共组织的大多数成员都认为可以吸收叶剑英入党，但有少数成员提出，叶剑英是蒋介石嫡系部队的高级军官，需要慎重，作较长时间的考验，事遂搁浅。叶剑英倒并未灰心，仍在积极争取。因为叶剑英英勇善战，指挥有方，北伐开始后，蒋介石调任叶剑英为总预备队指挥部参谋长。两次攻打南昌，一师师长王柏龄和代师长王俊都不听叶剑英的建议，结果都招致败迹。参加战斗的黄埔学生怨气横生，纷纷向蒋介石告状。直到第三次攻击，才占领南昌。由于王柏龄临阵脱逃，叶剑英率总预备队指挥部，随一师驻守南昌。南昌之役，费尽九牛二虎之力，使蒋介石深感自己的嫡系部队问题严重。他痛诫一、二师长官，责骂王柏龄、王俊“根本不是带兵人才”，提出对二王惩办、撤职。他听说在南昌战役中二王不听叶剑英的劝告，以致连连失利，于是特意召许叶剑英佩剑晋见。蒋介石见到叶剑英，先是夸奖一番，然后摊出了此次召见的底牌，说：“现在一师没人指挥，我看你就去一师当师长吧！”
叶剑英丝毫没有思想准备。他想到一师是蒋的嫡系，有些军官目空一切，很难管束，同二王的关系也很难处，而且对蒋介石的面目还看不清楚，所以婉言谢绝说：“谢谢校长好意，只是我身体不大好，待打完仗再说吧，我还愿意继续当参谋长。”
蒋介石信以为真，立即吩咐军医官给叶剑英看病。军医官煞有介事地检查了半天，拿不准是什么病。叶剑英憋住笑：“我还没吃早饭呢，等你检查确诊，人都要饿死了。”
军医官没有办法，只好胡乱开个药方子。叶剑英懂得一点中医，看了看方子，是些“太平药”，便叫护兵煎几付吃下去，应付了事。
南昌之役，北代军俘虏了孙传芳的军官数百名，士兵数万人。蒋介石为了扩充实力，决定将收编过来的赣军组成新编军，任命叶剑英为新编军第二师代理师长。叶不便再推辞，只好受命，领兵开赴吉安。
那时的叶剑英才30出头，高高的个头，白白净净的面孔，人不胖，不大穿军装，经常穿一身中山装。人很帅，也很威风。他的卫队，每人都带着20响驳壳枪。但他为人和蔼可亲，没有一点官架子。
不久，蒋介石在上海发动了“四一二”反革命政变，江西也很快陷入一片白色恐怖之中。吉安的反动分子，也在全城实行戒严，查封工会、农会、学生会、报馆等革命机构，强行押送国民党左派和革命团体负责人出境，并收缴了县农协自卫队的武器。共产党人被迫转入地下活动。
寻觅中的叶剑英，一下被现实推至十字路口：
继续留在蒋的队伍里，为蒋效命，升官发财，对他来说易如反掌。蒋介石很赏识叶剑英。他不单单看重叶剑英年轻有为，才华出众，更重要的是因为这个出生在广东的儒将，曾经追随和保卫过孙中山，在广东地区和粤军中很有些影响。他想把叶拉过来，以便利用其威望和才干，笼络住人心，将来控制南粤当不成问题。
另一条路闪闪烁烁，朦朦胧胧，究竟在何方，他一时也难以说清。但有一点，他心里清清楚楚：这必定是一条充满艰辛而重新开始的路。而正是曙光之路才有希望。50年后，叶剑英曾对采访人谈起过当时的心情：“宁汉分家以后，蒋介石说汉口反革命，武汉说蒋介石反革命，两下吵。我对武汉没有多少怀疑。但蒋介石还是总司令。究竟跟着谁走？那时没人来，也没电报来。我就自己看报纸，关上门，想了几天，什么问题都想到了。我想到自己年轻时立志为国为民做点事，参加革命后当了师长。那时师长每月差不多都 有二三万元收入。二三万元不少了，10个月就是二三十万，公公道道，做二三年师长就是个百万富翁。 如果只是为了个人，跟蒋介石走，至少可以做大官。但是，蒋介石在上海屠杀工人，屠杀群众，变成了十足的反革命！一个革命，一个反革命，阵线已是很分明了。参加革命，还是反革命？想了想，只有革命才有出路。所以我就下了决心，通电全国反蒋。一边倒，倒到武汉方面。”
叶剑英定下决心，就同身边几个要好的军官谈了自己的打算：通电全国，公开反蒋。而后召集全师的军官开会，明白告诉大家：愿意革命的，拥护武汉政府的留下；拥护蒋介石，想去南京的，也请自便。叶剑英的这一举动使当时政界和军界大为震惊。原第四军副军长陈可钰将此事报告了蒋介石：“叶师长反我们！”蒋介石连头都没抬，嘴里说知道了，其实根本不信。陈可钰再次报告：“叶师长真的反对我们！”蒋介石偏了偏头，说：“好啦，知道了，你下去吧。”还是将信将疑。
这时，吉安二师的右派军官和“孙文主义学会”分子与当地右派势力勾结起来，准备闹事。叶剑英与左派军官紧急秘密商议，决定二师举行武装暴动，拉队伍北上，投向武汉国民政府。
吉安的反动势力似有觉察，也加紧了行动。他们的矛头直指叶剑英。
这一来，叶剑英在吉安便站不住脚了。他决定先去武汉联络。临走前，几个相近的军官和师部人员以给师座祝贺生日为名， 在师部驻地后花园，摆开几桌酒宴，席间，议论起军机。有的团长急于举事，对叶剑英说：“师座，还是快干吧！”叶剑英示之以缓：“举兵重在择时，或早或晚都受其乱。”为了掩人耳目，他和几个军官上路时都化了装，并分头起程。他刚走，二师左派军官成立了临时革命军事委员会，于5月6日通电讨蒋。电文一发出，遭到右派军官的激烈反对，一时间双方剑拔弩张，二师陷于分裂状态。临时革命军事委员会见势不妙，于13日夜举行了武汉暴动，以迅雷不及掩耳之势，逮捕了反动军官，控制了部队。
但是，这次暴动由于缺乏经验，孤军无援，很快就被朱培德第三军的杨竹轩、杨如轩所部包围缴了械。
消息传到蒋介石那里，这才记起陈可钰的话，大为恼火，立即吩咐下属给国民党中央执委会起草呈文，要求将叶剑英开除出党，并加通缉。
再说到达武汉的叶剑英，所闻所见并非是他想像中的革命政府。不要说政府自己“四面楚歌”，就是武汉市内也是米荒盐荒油荒煤荒，到处是失业的工人。在乱糟糟的现实面前，叶剑英再次陷入迷惘。他住下后，便去找军事部长谭延闿述职。他向谭延闿报告了新编二师和吉安的现状，请求接济枪械、粮饷。他哪里知道谭延闿早与蒋介石暗送秋波，是个脚踏两只船的老投机家，怎肯资助反蒋的二师呢？他劝叶剑英暂时留在武汉，看看局势的发展再说。
叶剑英只好下榻武昌朝阳旅馆。朝阳旅馆是广东人开的，常有广东籍的客人来往和住宿。说来也巧，正在他心神不定时，遇到了梅县同乡李世安。李是秘密的共产党员，在广州时就与叶剑英见过面，1925年第一次东征时叶剑英任梅县县长，李世安也在梅县叶剑英的母校任教，俩人建立了友谊。李还结识了东征到梅县的周恩来。1927年2月，李世安离开梅县到上海，在那里又见到了周恩来。后来转到武汉，在市公安局当主任秘书，他以这个公开身份作掩护，从事党的地下工作。这次与叶剑英相见，俩人彻夜长谈，都有一种他乡遇故知之感。叶剑英闲住几日后，军事部来人通知他出席武汉政府召开的国民议会，会议由谭延闿主持，讨论宁汉分裂后的形势和前途。
会上，叶剑英也谈了自己的看法：“有人说我是蒋介石的嫡系，蒋待我不错，蒋介石给了一个‘巴掌’（职权），我拿这个‘巴掌’打老蒋，这不合人情，对不住老蒋。其实，不是我对不住他。他在上海杀了那么多人，我怎能还跟着他干呢？”
在这次会上，独立十五师师长贺龙也慷慨激昂地发表了反蒋言论。这是叶剑英与贺龙的第一次见面，双方印象都很深刻。
叶剑英还是想回到吉安。路过南昌时，见到军官教育团团长朱德，在反蒋大会上，叶剑英忍不住又打开话匣子：“有人问我反蒋图什么？我说我反蒋不图什么，只图个革命。我们革命的枪口要对准反革命。蒋介石自己跑到我们枪口上来，他自己当反革命，是自己找打的。我反对蒋介石不是因为有什么个人恩怨，而是因为他反革命。我们就是要讨伐反对革命的人 ”
“好，你说得好哇。”朱德当场称赞起叶剑英来。
叶剑英后来打听到吉安局势仍然动荡，只好从南昌又折回武汉。在他苦闷彷徨之中，他的老相识张发奎正踌躇满志，到处网罗人才，听说叶剑英到了武汉，就请他到四军军部来，留在自己身边工作。不久任命他为第四军参谋长。四军里共产党人很多，对叶剑英是有影响的。但是形势错综复杂，有些公开的共产党人他并不熟悉，熟悉的又多隐蔽起来，一时难以找到。即使找到党，能够吸收他这样一个曾是蒋介石嫡系的高级军官吗？原来就是因为这个原因，入党的事被搁置起来，现在重提还能如愿吗？他不觉困惑起来，常常在夜里惊醒。
其实，他还不大知道，当时在“左”的思想影响下，妨碍他入党的有两顶“帽子”，除了“国民党嫡系军官”外，还有一顶，就是“孙文主义学会分子”。这个“学会”是跟左派组织“青年军人联合会”对立的，许多右派黄埔师生加王柏龄都参加了，而王与叶有师生之谊，所以共产党人就把他当 “孙文主义学会”的人看待，不重视他的入党要求。他去找共产党员李世安，把自己入党的渴望和几年来在这个问题上遇到的波折和苦恼，全都倒了出来。李世安了解叶剑英的过去，对他的现在也通过四军的党员了解过，便一口应承下来。李世安这个老党员当然知道党里的规矩。像叶剑英这样的国民党高级军官，即或是已经通电反蒋，但要在基层组织里讨论他入党问题，还可能产生波折。
于是，他带着叶剑英的期盼，秘密找到周恩来。
周恩来听完李世安的汇报，回想了一下他在黄埔军校时与叶剑英的接触，坦然说道：“他的底子我知道，是好的，我们应该表示欢迎。”就这样，又过了几天，1927年7月上旬，在武汉革命形势急转直下，汪精卫“分共”前夜，经周恩来同意，中共中央批准接纳了叶剑英这个特殊党员。为了保密和特殊的工作需要，周恩来要他不要和其他党员直接联系，只让他与李世安等少数党员保持联系。