胡汉民以国民党元老之尊、以立法院院长之尊，仅因政见有异，被蒋介石说抓就抓，软禁七个多月之久，痛定思痛之余，决心要打倒蒋介石个人独裁，并不是仅仅为了雪个人之憾，在他看来，亦要为党国除去“一大毒疮”。他在一封密函中用暗语说：
门与门系为中国致命一大毒疮，能请西医割去，是一治法，否则用中医拔毒(什么内托外消)、打消方剂，抑或见效。除却二者便无是处也。(《胡先生亲笔函电及批注》，哈佛燕京学社图书馆藏，转引自杨天石《寻求历史的谜底》，页五六五)
门，用“武松醉打蒋门神”典故，隐指蒋介石，即不惜以“外科”或“内科”手术，来取掉蒋介石这个“大毒疮”，衔恨之深，可以想见。
胡汉民于一九三一年十月十四日被释放后抵达上海，翌日驰电广州非常会议委员，承认国民党内“纠纷迭乘，政治举措失当”，希望党人“彻底觉悟，力图团结”。再过一日，公开批评蒋介石的南京政府应付日帝侵略，只有“三无主义”，即“无办法、无责任、无抵抗”。这样下去，“则必至国亡种灭而后已”。(参阅胡汉民《亡国之三无主义》，载《胡汉民先生政论选编》)蒋介石不抗日足以亡国，所以他要抗日反蒋以救国。他不会再与蒋合作，可见之于十月三十日的《致粤中央电》，他明言不会与汪精卫入京任职，而力言“迫某(蒋)辞职，并促制度上限制个人权力，打破独裁”！
胡氏“打破独裁”的立场，自然更坚粤方要求蒋介石下野的决心，胡于十二月五日与粤方非常会议选出的中委，联名领衔通电，催蒋下野，解除兵柄。蒋果于十天之后，通电辞去国民政府主席、行政院长、陆海空军总司令本兼各职。
蒋介石下野之后，宁粤合流，表面上出现各方合作，蒋汪胡携手的形象。但事实上，胡汉民留居香港，拒绝入京。他对蒋之复出以及蒋汪合作，不仅厌恶，而且决心倒之。当时刚辞去行政院长的孙科，对于蒋汪的向日退缩政策甚表忧虑，曾于密电中告诉胡汉民，蒋曾责令十九路军将领，不得“擅起战端”，后来军民奋战，“乃表示抵抗，然仍令十九路军将领只准抵抗，不必扩大”，认为“日方计划摧毁长江一带军事势力，结果南京中央必然崩溃”，所以建议在粤中另立政府。(电文全文可见于杨天石《寻求历史的谜底》，页五六八)胡汉民虽然没有另立政府，但继续积极活动倒蒋。他想统一西南各地实力派的力量，以与蒋汪南京政府抗衡，以抗日为号召，并借此攻击蒋汪的不抵抗政策。他还与华北的冯玉祥取得联系。冯主抗日甚力，对蒋之向日本委曲求全，甚表悲愤，也想联络西南倒蒋。(见张允荣一九三二年八月十八日《致展堂先生函》)此时冯已自徐州移居泰山，名为养病读书，实与在山东的韩复榘有所密谋，与胡自亦一拍即合。胡于一九三二年五月五日复函冯玉祥，有谓“过去四五年，只见有个人，而不见有党”，“凡所措施，无不出于个人私意”，此个人即蒋介石也，暗示如果倒蒋，“必竭诚襄助”。(胡函原件藏哈佛大学东亚图书馆)胡与北方的张学良、韩复榘、阎锡山、孙殿英、石友三之间，也互通音问，设计如何抵御气焰方张的日寇，如何去除劫国的“独裁之魁”蒋介石。(参阅杨天石《寻求历史的谜底》，页五七O)他还取得国民党海外支部的支持，同情他抗日反蒋的立场。可见他发展“反蒋”关系，十分广泛。事实上，他已着手组织新国民党，强调纪律、团结与反蒋，活动范围扩及江苏、浙江、安徽、江西、湖南、湖北、四川七省。
南京政府的蒋汪合作，蒋主军、汪主政，也不如表面上看来那样和谐地分工合作。如周德伟所指出的，蒋仍遥控政治，“不脱军阀素习”、“军费占岁入百分之八十以上，各省封疆大吏，则一仍其旧，汪氏无置喙余地。”蒋“又推荐孔祥熙为中央银行总裁，兼中国银行董事长”，后“又推荐陈果夫为江苏省政府主席，张静江早已任浙江省主席”，“中央之党务则有叶楚伧、陈果夫操纵，陈立夫尤横，一意为蒋氏鹰犬，与汪立异”。 (周德伟《余之一生与国民党点滴》手写稿本第十六章)然则蒋汪合作其名，蒋氏一人独裁其实，无论政、军、党、特都在他的手里。
一九三三年年初，日军突袭山海关，榆关失守，张学良决心抵抗，与胡汉民关系趋密。张曾告诉胡“不抵抗”的原委，故胡于回函中说：
兄前以不抵抗而丧失东北，兹又以不抵抗而丧失榆关。长此以往，国将不国。虽示负最终之责任者当别有人在，顾兄身当其任，究何以自解于国人？纵不为个人计，将不为数百万人民之身家性命计耶？(原函藏哈佛大学东亚图书馆)
胡虽希望张学良结合华北将领，抗击日帝，但是“别在”之人乃全国最高统帅蒋介石，仍一心想剿灭共党，全无意绪抗日。日军遂于三月四日侵占承德，无可奈何的张学良惟有引咎辞职，黯然出洋。胡汉民针对此一局势的对策是积极组织西南抗日联军，联络北方抗日将领，以便北上救援热河，不过，其意不仅在抗日，而且还要倒蒋，可见之于另一封密函如下：
西南抗日军队出发，以贤初为总师之任，渠以抗日为倒蒋，如能师出武汉，北局有变，一切正可相机而动。(胡汉民致护黄、颂云，原件藏哈佛燕京图书馆)
函中的贤初，乃十九路军将领蔡廷锴之字，淞沪停战后被调往剿共，然仍不忘抗日，与胡汉民等结合，于一九三三年四月二日出任“西南抗日军总指挥”。而此时全国各地抗日救国运动风起云涌，冯玉祥于五月二十六日在张家口宣布成立察哈尔民众抗日同盟军，但这个时候蒋介石仍然在江西剿共，并于五月三十一日授命何应钦签订丧权辱国的“塘沽协定”，实际上承认日军侵占长城以及山海关以北地区的合法化，并同意长城以南的察北与察东地区不予设防，直令华北门户洞开。胡汉民闻之甚怒，即电冯玉祥曰：“请公立振义师，先就北平擒拿经手订立妥协之何(应钦)、黄(膺白)，即行讨蒋以抗日。” (胡汉民致焕公电，原件藏哈佛燕京图书馆)然而无论西南或华北，抗日讨蒋的情绪虽高，但实力(军力与财力)不够。胡汉民的“北出长江、推倒国贼”的计划固然夭折，冯玉祥的抗日同盟军在蒋介石的压迫与分化下宣布解散，方振武、吉鸿昌的抗日讨贼(蒋)军也因孤立无援而失败。但是胡汉民仍不肯放弃，至十月间仍在积极规划如何“声讨独夫，从事抗日”。(语见胡汉民致何子佩函，一九三三年十月十九日，原件藏哈佛燕京图书馆)
讨蒋抗日虽是胡汉民梦寐以求的目标，但是主张讨蒋抗日甚烈的中共，仍然是他想要消灭的敌人，敌人的敌人仍然不能成为朋友，反而与敌人蒋介石在反共上有共识。所以当“闽变”于一九三三年十一月发生时，由于更改国号、换旗、联共，虽然目标就是讨蒋抗日，胡汉民不能苟同合作，坚持讨蒋与剿共双管齐下，声称“独裁卖国之南京军权统治、叛党联共之福建统治，必同时清除之”(见胡汉民对时局宣言，一九三三年十二月十五日，载《胡汉民先生政论选编》)，勇气虽然可嘉，但几乎是不可能达成的任务。而此时蒋介石正分江西剿共之师，大举入闽讨逆，动用海陆空三军，并亲至建瓯指挥镇压，十九路军孤立无援，于一九三四年二月初宣告失败，被蒋改编，部分残军则由陈济棠改编为粤军独立第三旅。
胡汉民在一九三四年，仍然继续联络各地将领，进行抗日反蒋活动，在军事上虽然相继失败、乏善可陈，然而在政治和党务上，实已将西南独立于南京政府之外，颇有效地抵制了蒋介石，如蒋于一九三二年三月在洛阳召开国民党四届二中全会，胡断然拒绝参加。一年之后，蒋提出召开临时全国代表大会，也遭胡等通电反对而被迫取消。原定于一九三三年十一月召开的国民党第五次全国代表大会，亦被迫延期至翌年十一月十二日举行。胡汉民仍发表有电，与蒋汪所定议题，针锋相对，唱对台戏，并谴责南京政府“党同伐异，自为派系，钳制同志，变本加厉”(语见有电，载《三民主义月刊》第四卷第四期)，更扬言那只是军权统治的五全大会，不是中国国民党的五全大会(参阅胡汉民《为五全大会告同志书》，载《三民主义月刊》第四卷第四期)，甚至不惜另开代表大会，宣布蒋介石、汪精卫等“叛党、卖国罪状，开除其党籍”。(参阅胡汉民一九三四年九月二十五日致南洋英属总支部整理委员会函以及一九三四年九月三十日致邹鲁等函)胡汉民如此强硬，倚老卖老，自令汪蒋十分头痛，不得不加以“招安”，由王宠惠亲自携孔祥熙函南下，呼吁谅解，动之以情，并邀胡“早日命驾来京，主持一切”，却被胡刮了一顿胡子，说是不应求“私人间之谅解”，以延误“国家之危机”，更进而把矛头指向蒋介石：“南京政府之上，尚有一南昌之太上政府，彼以一军事领袖，在行政上可以擅自发号施令，并擅自召集各级文官训话，又可以组织蓝衣党，企图以法西斯主义代替三民主义。”(《胡先生为宁粤合作对法报记者之谈话》，载《三民主义月刊》第四卷第五期)这种指责不可谓不重，而又难以辩驳，所谓以三民主义相标榜，而行专制独裁之实，尤其击中蒋之要害。由于胡汉民的杯葛与谴责，五全大会就没有开成，另于十二月十日召开四届五中全会。
胡针对蒋之集权，亟力提倡均权共治，并得到西南实力派的支持。蒋介石为了争取胡之谅解，于一九三四年二月三日与汪精卫拟订了一项中央与地方如何均权的方案，且派王宠惠、孙科赴港协商。但是胡汉民知蒋并无诚意，托孙科带回一函，言辞虽然客气，仍拒蒋于千里之外，雅不欲入京合作：
自民二十年后，久阙音问。亮畴、哲生两兄来，藉获手书，甚感关注。弟三年养疴海隅，而时受风寒侵袭，血压久治未低。闻尊体近日亦不能无小病，亲以前精力稍逊，诚为兄系念不已。国家大计，弟以为总理已垂示甚周，故数年来仍悉心体会而莫敢外。此次与亮、哲两兄所谈，亦唯此旨，即托其一一面达，其间亦非片楮所能尽也。(转引杨天石《寻求历史的谜底》，页五九四)
一九三一年二月，胡遭蒋拘留，以致“久阙音问”，不忘提醒蒋其所作所为。函中未及国事，只说“国家大计”、“总理已垂示甚周”。观其写此函一周后，在其主持的《三民主义月刊》上为文，指蒋“剽窃总理之均权主张，希望在军权统治之下实行其均权制度”(见该刊第四卷第六期《军权与均权》一文)，则“总理垂示甚周”云云，其责备之意，尽在不言之中。然而蒋于一九三五年三月十一日驰函胡汉民，仍以“谋团结”、“挽危局”为说。此后日本图华愈急，日方派孙中山老友萱野长知往说胡汉民，鼓动“西南独立”，并请胡“进就总统之职”，以与“华北自治”相配合。胡汉民当然不能为了反蒋而去做汉奸，故当土肥原于一九三五年三月二日亲赴香港晤胡，企图挑动两广出兵倒蒋，被胡拒绝。(参阅胡汉民《论所谓中日提携》，载《三民主义月刊》第五卷第三期)
一时之间，胡汉民成为日方与蒋方两面拉拢的人物，但他坚持抗日反蒋的立场。因为抗日救国，他不可能联日反蒋；也因为抗日救国，他不可能与不肯抗战的蒋介石合作。不过胡氏心目中的蒋介石问题，不仅是对日政策，而且是军事独裁。所以他虽于六月间到欧洲去疗养，仍然反对蒋汪合作的南京政府，不愿与他们团结，也拒绝参加一九三五年十一月一日在南京召开的国民党四届六中全会。开会的第一天，抗日爱国的孙凤鸣，曾任十九路军排长，以晨光通讯社外勤记者身份混入，原想刺杀不抗日的蒋介石，蒋未出来照相，只好退而求其次，向汪精卫开了三枪。汪不仅代蒋挨枪，而且因伤让位，使握有军权的蒋介石又完全控制党政大权。为了争取胡汉民与其他粤方中委的团结，参加五全大会，蒋介石尽量在口头上满足胡等要求。当五届一中于一九三五年十二月七日在南京召开时，胡虽然身在欧洲，仍被选为国民党中央常务委员会主席，显然是蒋介石的意旨，表示愿胡负责党务。胡于一九三六年年初返国时，蒋又命魏道明先至新加坡迎接，并附函“务请即日莅临京中，共济时艰”，不过胡对蒋之疑虑犹存，抵广州后继续批评南京国府，只是在言论上似乎已从打倒蒋介石的政府，转变为促其觉悟与反省，以团结全国抗战的力量。胡汉民于同年五月十二日因脑溢血逝世于广州，终未入京与蒋介石再度合作。蒋关了他七个多月，他讨蒋五十多个月，口诛笔伐，没完没了，岂蒋始料所及哉？
蒋介石的补救办法是尽量在胡汉民身上下工夫，如果胡能入京，重新合作，以胡在西南物望之隆、国民党内地位之重，至少可以结束两广半独立状态，奈胡衔恨甚深，迟迟其行，以至于突然病故。然而蒋要解决西南，并不就此罢手，遂导致一九三六年六月一日的所谓“两广异动”事件。
当胡汉民积极从事讨蒋抗日活动时，广东的“南天王”陈济棠颇感犹豫踌躇，不愿出兵。以其治理粤省之勤，休养生息，固不欲做孤注一掷，然据《李宗仁回忆录》所说，南天王不愿意为胡汉民抬轿子，令胡独霸西南，似亦言之成理。然而说胡死之后，陈便有野心，未免言过其实。陈知蒋必不容西南在其掌握之外，故于胡死后即派乃兄维周面蒋察言观色，并刺探情报，及知蒋有离间粤桂，各个击破之意，顿生“唇亡齿寒”之惧，以至于产生“坐而待亡，孰与伐之”的想法，遂有南天王与广西李、白联手异动之举。
此一异动，有其技巧，只称抗日，不提讨蒋，北上的部队称为“抗日救国军”。纯为抗战，蒋介石自不便公然征伐抗日军，阻挡抗战，但虽缓不“攻城”，却以攻心为上，一展其分化离间、金钱收买的故伎。七月之初，粤方飞机投蒋，陈济棠手下大将余汉谋通电拥蒋。类此阵前起义，岂是偶然？余汉谋之拆陈济棠的台，就像当年陈济棠拆李济深的台，都是蒋介石的地下作业，戴笠那一帮军统人马不是白吃饭的。至于粤机北飞，岂是弃暗投明？飞向黄金也。
陈济棠毕竟因而狼狈奔港，广西李、白虽尚能保住广西一隅实力，但势孤力单，也只好于八月间拥戴蒋之中央。胡汉民死后不到三个月，不血刃而西南反蒋势力瓦解，蒋介石又赢得一回合的国民党内斗，得以拖延抗日，更加集中精力去剿共。