从1941年起，日军在华北开始野蛮推行“治安强化运动”。他们将华北各地划分为“治安区”（即日伪占区）、“准治安区”（即抗日游击区）和“未治安区”（即抗日根据地），妄图实行逐步变“准治安区”为“治安区”，“未治安区”为“准治安区”的目标。三四月间，山东日军推行第一次“治安强化运动”，首先在日伪占区内强化伪组织，二次“治安强化运动”，对鲁南、鲁中、清河等抗日根据地进行大“扫荡”。秋天，日伪军将“扫荡”的重点转向沂蒙山区。
在这严酷的斗争环境中，为了解决统一山东军政领导和作战指挥问题，8月19日，中共中央书记处和中央军委决定：“（甲）分局、第115师师部及山纵指挥部靠拢，以便经常开会，以分局会议为统一山东党政军民的领导机关，山东分局暂时由朱瑞、罗荣桓、黎玉、陈光同志组成，朱瑞为书记。（乙）山东纵队归第115师首长指挥，配合作战。（丙）将山纵及第115师两军政委员会合组为山东军政委员会。决定罗荣桓、黎玉、陈光、肖华、陈士榘、罗舜初、江华7人为委员，罗荣桓为书记。”山东分局随即按照中央这一决定，确定分局委员的分工：朱瑞主持党的组织工作，罗荣桓主持军事工作，黎玉主持政府工作，陈光主持财委会工作。
10月2日，罗荣桓率师部到达临沂青驼寺，主持召开了山东军政委员会的第一次会议，研究了第115师和山东纵队建立统一指挥的问题，并对秋季反“扫荡”进行了部署。会后，中共山东分局、山东军政委员会、第115师和山东纵队分别发出粉碎日伪军“扫荡”的指示。
第115师的指示指出：在敌人大“扫荡”时，要广泛开展群众性的游击战，小部队要树立独立自主作战的精神，不要在遭受敌人第一次合击后陷于被动，应当适时跳出合击圈。在情况查明以前，先以敌为轴心转动，不宜跳得过远，免遭新的合击。要切实掩护群众，防止敌人杀害群众和抓走壮丁。连排干部要熟悉地形，做到60里以内不用请向导。
随后，陈光、罗荣桓又组织参谋人员到各要地查看地形、道路，布置情报通信网，组织游击小组，为反“扫荡”进行具体的准备。
11月5日清晨，沂水青驼寺一带，忽然响起阵阵枪炮声和隆隆的坦克声。日伪军的“大扫荡”正式开始了。他们仍然以惯用的多路、多梯队“铁壁合围”的方法，一点点缩小包围圈。渐渐地，他们把包围圈核心定在青驼寺东北的留田一带。
这里正是刚刚搬过来的第115师师部所在地。
第115师师部和山东分局、山东战时工作推行委员会的机关一起，共有2000多人，此刻正聚集在留田东南一个叫做牛家沟的小村庄里。可是，能够参加战斗的部队却只有第115师的1个特务营和山东分局的1个特务连。
担任警戒任务的第115师特务营副营长黄国忠，已经分派几个连把守在了留田周围的山头、隘口。
敌人越来越近，到下午的时候，近的已离留田三四公里远，远的也不超过5公里。黄国忠无法再看下去了，忙飞马奔往牛家沟。
紧急军事会议正在牛家沟的一间茅草屋中进行，黄国忠冲进去的时候，罗荣桓、朱瑞、陈光、肖华和陈士榘，还有司令部、政治部各部门的负责人都在。大家正热烈地讨论着突围的方向。
主持会议的罗荣桓正坐在炕上，面对着一幅军用地图埋头思考。
“情况紧急啦！”这是黄国忠进门的第一句话，“敌人分成11路正在紧缩包围圈，各路人马离我们这里都在5公里以内。现在，外面的大路、山路、山谷、田野到处是日本兵，还有坦克。”
“先坐下，正好一起讨论一下。”罗荣桓平静地说，“形势的确非常严峻，我们现在已讨论了个把钟头了。必须赶快决定，因为敌人正在逼近。总结一下刚才大家的意见，一共有三种：一是向东，过沂河、沭河，进入滨海根据地；二是向北，同山东纵队会合；三是向西，进入蒙山。”
“那么你们为什么没有人主张向南呢？”罗荣桓问道，“我知道，这是因为南面是临沂，是敌人的大本营。有报告说，俊六就在那里坐镇，指挥着这次‘大扫荡’。”
他又看了看地图，抬起头来，斩钉截铁地说：“但我的意见，就是向南！”
罗荣桓话音未落，立即引起一片争论声。
“大家先静一下，让罗政委继续说。”陈光出面阻止了大家的争论。
“为什么要向临沂方向突围呢？”罗荣桓道，“大家稍微聚拢一下，来看地图。”
罗荣桓从地上捡起一段干柳树枝，指着地图说：“东面，沂河、沭河被敌人严密封锁，敌人预料到我们可能要到滨海，如果我们东去，很可能钻进敌人布下的口袋。北面，敌人正疯狂南压，而沂蒙区北部被控制在东北军第51军手中。1941年8月间蒋介石将沈鸿烈调走，而任命第51军军长牟中珩为山东省主席后，于学忠和蒋介石的矛盾有所缓和，东北军同八路军的关系便逐渐恶化。此时第51军正在北沂蒙一带同山东纵队搞摩擦。我们如果北上，很可能被夹击。西面，临沂至蒙阴的公路已成为敌人戒备森严的封锁线，即使能越过此线进入蒙山，那里也是敌人合击的目标。南面呢？虽然是敌人的大本营，但是敌人估计我们不敢向其大本营前进，而其兵力又都向北集中到沂蒙山区，后方必定空虚。”
说到这里，一部分人开始点起头来。罗荣桓趁热打铁：“所以，我主张，先向南突围，跳出敌人的包围圈后转而向西，进入蒙山和鲁南的接合部，这个位置比较机动。”
解释清楚了。大家细一琢磨，越琢磨越觉得这个判断合情合理。很快，有人先站出来表示同意了，接着第二个，第三个……最终，大家一致赞同。
于是，罗荣桓具体安排了行军路线：从留田向南经张庄、高里，折而向西南，越过沂蒙公路到汪沟一带宿营。等大家把路线记清以后，罗荣桓又详细交代了经过每个地方的注意事项。