1928年初，张学良派他到沈阳担任高级军政人员文娱活动场所同泽俱乐部干事。这期间，吕正操开始接受共产党的影响。同年，皇姑屯事件发生，张作霖被日军炸死，张学良主政东北，就任东三省保安总司令，于次年春派吕正操到16旅任中校参谋处长。1933年3月，决心收复热河、与日决战的张学良亲自委派吕正操接任第647团团长。就在吕正操赶到热河前线的第二天，蒋介石逼迫张学良“下野”的号外就出来了。吕正操只得带647团移驻河北易县一带。次年春天，移驻北平，担任城防。

    反击日伪军大规模“扫荡”。

    此时的吕正操，与中共北方局53军工委成员刘澜波、孙志远等开始直接接触，在国内积极组织进步活动，在社会上支持青年学生，并在北平城防中严对日军的挑衅。1936年10月，张学良调吕正操到西安张公馆服务。12月12日，张学良、杨虎城发动举世震惊的西安事变，扣押蒋介石，通电全国，呼吁共同抗日。

    在此关系重大的事件中间，吕正操担任张公馆的内勤工作，和应邀来西安共商大计的中共代表接触。西安事变和平解决后，张学良送蒋介石去南京，吕正操回河北徐水掌握部队。就在吕正操到达徐水团部的当天，孙志远赶来通知他，他已被中共北方局同意接纳为中国共产党党员。1937年10月，吕正操在冀中率部脱离国民党53军，被任命为八路军第三纵队司令员兼冀中军区司令员，创建了冀中平原抗日根据地。

    冀中区位于平汉、津浦、北宁、德石4条铁路中间，为拥有安国、任丘、河间、雄县等30余县抗日政权的敌后根据地。地势平坦，子牙、滏阳、滹沱河、潴龙等河流灌境内，不仅物产丰富，人口众多，为晋察冀中心区北岳山区的粮源、兵源基地，而且人民文化素质高，很少受封建会道门愚弄，民族自尊心强。当时，这里只有吕正操领导的少量武装和刚由游击武装改编的八路军第3纵队，战斗力较弱。为此，中央军委在决定115师挺进山东的同时，决定120师主力进军冀中。

    1938年11月25日，120师师长贺龙在延安当面接受任务时，毛泽东提出，120师进军冀中，要完成巩固冀中、帮助第3纵队和发展自己三大任务。

    对于120师的到来，吕正操开始心里有顾虑，认为自己是参加八路军不久的旧军人，是个“小军阀”，又势单力薄，担心以后关系不好处。贺龙看透了他的心思，就和他同吃同住交心做朋友，并鼓励他说：你怕什么嘛！你说你是“小军阀”，那我还是“大军阀”哩。过去的事一脚踢开，今后坚决跟共产党走，经常注意改造自己，没什么可怕的。在贺龙的帮助下，吕正操放下包袱，主动配合，两个人从此结下了深厚的战斗友谊。

    为使中国华北地区成为其“兵站基地”，加紧对华北各抗日根据地进行所谓“治安肃正”作战，并把冀中作为重点地区。