胡乔木刚刚成为专职的共青团干部，1931年9月18日，日本关东军炮轰渖阳北大营的声音，震撼了中国大地。他在中共北平市委领导下，组织青年学生上街游行，高呼“抗日救国”的口号。
不过，那时在中共党内，王明路线占上风。方铭记得，那时提出了“武装保卫苏联”之类极左口号。中国人民正在遭受日本侵略，怎么可以号召中国人民武装起来去“保卫苏联”呢？此外，还有“工人阶级无祖国”、“第三国际以苏联为中心”等口号。这些口号，难使群众接受，反而使中共脱离了群众。胡乔木等在宣传工作中，不大愿意提这类极左口号。
为此，共青团北平市委遭到了中共河北省委的批评。
过了些日子，又出现新的风波：有人向中共河北省委告发，说是共青团北平市委某人跟托派有联系。于是，中共河北省委陈远道（“二十八个布尔什维克”之一）下令解散共青团北平市委，只留下那位告发者。
胡乔木再不是专职的共青团北平市委宣传部长了，辗转于清华大学、北京大学、中国大学。
胡乔木已经好久没有给家中写信了。担心父亲挂牵，写了一信，信中说，回信寄“北京大学×××代转”。
父亲胡启东见信，觉得奇怪：儿子明明在清华大学上学，信件怎么由“北京大学×××代转”呢？这意味着儿子不在清华大学。
胡启东不放心。他要女婿张肃堂（胡乔木的姐夫，中学语文教师）作陪，一起从盐城来北平，见一见儿子。
他们来到清华大学，找到了乔冠华。
乔冠华，后来在1974年至1976年担任中中华人民共和国外交部部长，此时是清华大学哲学系学生。他比胡乔木小一岁，盐城同乡——1913年2月出生于盐城庆丰乡东乔庄。他在盐城第二高等小学毕业。他很想出国留学，到盐城的教会学校准美中学上学。后来在南京钟南中学读完高中，考入清华大学哲学系。这样，胡乔木和乔冠华有着同乡、同学之谊。
乔冠华帮助胡启东找到了胡乔木。那时，胡乔木既没有在大学学习，又没有正式的工作，何况生了病。他就向组织请了假，随父亲暂且回老家盐城。
就这样，胡乔木在1932年春回到家乡。
姐夫张肃堂在盐城宋村中学教语文。胡乔木来到那，帮助姐夫教课，改作文，度过了一个学期。
胡乔木的三姨父，在盐城县城当贫儿院院长。秋天，胡乔木到三姨父那，帮助他办贫儿院。那有一位教师叫刘必余，很注意胡乔木。他从胡乔木的言谈及所看的书籍判断，胡乔木是个左翼人物——胡乔木从北平回到故乡，失去了共青团的组织关。
刘必余是中共地下党员。他向中共盐城县委书记嵇荫根（又名蔡道生）作了汇报。嵇荫根决定找胡乔木谈话。谈了几次，胡乔木明白嵇荫根的身份，喜出望外：因为他自从失去了共青团的组织关系后，曾给北平中国大学一位姓陈的同学去信，那位同学是共青团员，胡乔木希望恢复组织关系。无奈，去函如石沉大海，没有回音，估计那个同学已离开中国大学。他想不到，中共盐城县委会主动找他，于是他详细陈述了自己担任共青团北平市委宣传部长的经过……
不言而喻，胡乔木是很合适的发展对象。这样，由嵇荫根作介绍人，胡乔木于1932年秋加入中国共产党。从此，胡乔木在镰刀铁锤大旗之下，奋搏了一生。
胡乔木加入中共之后，依然做他擅长的工作——宣传。他在盐城创办了《海霞》半月刊，三十二开，宣传反帝反封建。他是实际上的主编，只是他不便出面，请乔冠华的长兄乔冠军担任主编。那时，乔冠军是当地小学教员。
胡乔木从俄国着名作家契诃夫着作的英译本转译了小说《凡卡》，发表在《海霞》上。
《海霞》出了三期，便陷入经济困顿的窘境。盐城毕竟是小地方，《海霞》成本高，售价也高，销路不好。
看来，办杂志不行，那就改办报纸性刊物——《文艺青年》。每期八开四版一大张，价格比《海霞》低得多，销路也就好一些。《文艺青年》是周刊。为了使刊物有上乘之作，胡乔木特请正在清华大学上学的乔冠华，翻译了日本左翼作家小林多喜二的短篇小说。还翻译、发表了爱因斯坦、柯勒惠支夫人等反对希特勒法西斯主义的宣言。在胡乔木的苦心经营下，《文艺青年》出了五期。
胡乔木还发展了邱剑鸣（胡扬）入党，发展妹妹胡文新（方铭）入团。他起草了《告盐城人民书》，油印成传单，和邱剑鸣以及妹妹胡文新等在深夜塞进家家户户的门缝里。
盐城的国民党政府注意起中共的地下活动。胡乔木的入党介绍人、中共盐阜县委书记（那时中共盐城及阜宁县委已合并）嵇荫根被捕，很快就叛变。嵇荫根供出了两名中共党员之后，便带人直扑贫儿院，去抓胡乔木。
贫儿院的门房不错，一看势头不对，赶紧去告诉胡乔木。知道情况不妙，胡乔木急忙躲到贫儿院隔壁邻居家的床底下。贫儿院的院长、胡乔木的三姨父出面，跟嵇荫根周旋。三姨父声称胡乔木绝对不会是共产党，况且眼下又外出了。嵇荫根虽明知胡乔木是中共党员，无奈搜遍贫儿院找不到胡乔木的身影，只得勒令胡乔木的三姨父写下“保证书”。
这么一来，胡乔木难以在盐城立足，悄然南下，避往上海……