1938年3月初，侵华日军进逼山东临沂边境。驻守临沂的国民党第40军庞炳勋部在第59军张自忠部增援下，与进犯临沂的日军展开了近一个月的激战，给敌人以重大杀伤。尔后，张、庞两军相继撤出战场，临沂遂于4月21日失守。
日军侵占临沂城前，曾先后在城北古城村和城西大岭村制造了两起惨案。
3月下旬的一天，天刚放亮，日军如狼似虎地闯入古城村。农民王汉友一家四口躲在地爪窖里，被日军用点燃的秫秸堵住窖口，活活烧死。接着，日军放火烧房，农民王殿思背起被火烧伤的母亲往外逃，没跑多远，被日军用枪打死，母了双双倒在血泊中；个躲在墙角里吓昏了的老嬷嬷，被日军拖到街上点火焚烧，老人惨叫，日军却站在一边狂笑。不到一天的时间，古城村就变成一片废墟，断垣残壁，血迹斑斑，全村被杀害62人，有一户被杀绝。逃难的群众在渡祊河时，又被日军抓住数十人，用刺刀逼着脱光衣服向河里跳，谁不跳，上去就是一刺刀。除个别人死里逃生外，多数人惨死在水中，日军却在岸上狂笑。
日军进大岭村后，更是无恶不作。刘志贤母亲的嘴巴、王富德母亲的乳房被割掉，姜志敏之父及祖母等27人被枪杀。躲在村西观音庙里的避难群众，除二人逃脱外，被日军用机枪打死45人。全村300多间房屋被烧光，姜志茂、赵洪义、姜志顺、张守信等四户被杀绝。
与此同时，日军不断派飞机对城里滥肆轰炸，特别在城垣弃守之前的两三天内，轰炸扫射日甚一日。一枚炸弹在城内北大街路南王贞一杂货店的防空洞口爆炸，在洞内避难的男女老少30多人，有的被炸死，有的被闷死，无一幸免。颜家巷郁鸣漪一家，除本人逃出外，其他人全部遇难。郁本人也因忧愤过度当晚自缢身亡。西门里路南开杂货店的李润生之父被炸死在自己家中。在西门里天主堂内避难的群众被炸死炸伤300多人，修女尤姑娘被炸得骨肉分离，糊到墙上。
日军进城后，在大街小巷密布岗哨，架上机枪，挨户搜查，堵门截杀。日军每到一家，遇人就是一刺刀，对中青年妇女先奸后杀，连老人、小孩也不放过。未及走脱的居民纷纷越墙，向西门里天主教堂方向寻求避难。可是，德国神甫紧闭大门，万呼不应，走投无路的难民瞬间聚集700之众。这时，丧心病狂的日本兵，一面从教堂西面向难民扫射，一面在教堂以东各个路口用机枪堵截，毫无遮挡的人群纷纷倒下。这是第一次集体大屠杀，没听说有谁逃得出去。事后用车拉了好多天，才把尸首清理干净。
日军进城的当天，发现了在城内西北坝子三个防空洞及西城墙根躲难的群众，于是，先用机枪扫射，再用刺刀戳杀，480多人全被残害。幸存者宁振芳全家10口人，在西北坝子城墙洞里避难时，被鬼子用刺刀刺死了9口。那时她是个八个月的婴儿，钻在娘怀里吃奶，未被刺着，幸亏街坊陆大爷在事后盖尸时发现她还有口气，才被救出，抱给宁孙氏大娘收养，长大成人。
日军从各家搜查到的人，受害者不计其数。西门里太公巷一少女，被日军轮奸后又用刺刀刺死。老营坊巷东一女青年，被敌人轮奸致残后死去。日军从南门里一杂货店院里的防空洞中搜出20余人，当场全部用刺刀刺死。崔家巷一户的小孩子出疹子，门口挂红布条，日军伯“传染病”，点火将小孩活活烧死。日军搜查城隍庙东杨家园时，妇女纷纷跳井自杀，顷刻之间，死尸塞满井筒。茶棚街胡土英家的防空洞较大，藏人很多，日军堵门用机枪扫射，并向洞内扔手榴弹，死者无数。日军走时，还在胡家大门上写着：“此院死尸大有”。北门里路西一老太太年过70，卧病数月，生命垂危，全家7人围守病床，未及躲避，日军进院后将男子全部刺死，女的被逼得背起病人一同跳井。城内居民凡被日军发现者均惨遭毒手。一次，日军驱赶着30多人清扫北大寺（今东风制药厂处），干完活，说叫他们站队点名，结果被机枪点射，全部丧生，尸体被推进大湾内。
全城的幸存者寥寥无几，有的在地窖内东躲西藏多日，挣扎活命；有的白天在炉膛内藏身，深夜从城墙水道中爬出，住在南关美国医院的近百名原国民党第40军伤员，连夜转移到效外，多数重伤员死在医院附近的麦田里，曝尸旷野，无人敢收。万恶的日本侵略者，在城西疯狂屠杀十余日后还嫌不够，又在火神庙旁和南门里路西设了两处杀人场，用军犬、刺刀连续残杀无辜群众以取乐。王学武的父亲被日军用刀剁成三截；徐廷香之父、吕宝禄等被军犬活活咬死。全城被害群众计2840余人，加上沿途杀戳，共达3000人以上。
日军在进行血腥大屠杀的同时，还纵火毁城。从火神庙以西、僧王庙前玉聚福街东、洗砚池以南，北到石碑坊、杨家巷至刘宅一带，大火一直延续六、七天，整个城西南隅化为灰烬。南关老母庙前、阁子内外，房屋全被烧光。至于其他财产的损失，更无法统计。
侵华日军血洗临沂的滔天罪行，临沂人民是永远难忘的！
1986年，中共山东临沂市委党史征集委员会召集惨案幸存者和遇难人员亲属调查访问，下面就是临沂大屠杀事件调查座谈会纪要：
刘玉芝：“提起这些事，就恨得俺打哆嗦，难过的光想哭。俺父亲当时52岁，就是被日本鬼子的飞机炸死的。他浑身都炸成了肉汁，只剩下了一个头。送殡时是配上假身子安葬的。打那以后，我母亲就领着俺姊妹三人出外逃准去了。我母亲因为死了亲人，生活又没有着落，整天哭得死去活来，连饿带病，一年以后也死去了。那次鬼子的飞机轰炸，光俺院就炸死了四口人。有个唐大娘藏在地窖子里，被炸得鼻口窜血而惨死。还有个卖炭的，他老婆被炸没了影，后来在院子里只扒出了一条腿。有个小女孩才一生日，脑瓜子被炸得稀巴烂。一绺头发和血肉粘在一起，糊到了墙上。”
李树英：“火神庙有个地窖子，鬼子进城时，许多人都往那里跑。正跑着，有一个鬼子抓住了郑嬷嬷，要糟塌她。俺三公爹就因为说了一声‘她老了’，就被鬼子一刺刀捅死，郑嬷嬷被强奸以后，也被刺死。和俺三公爹一起跑的还有两个邻居，也都被鬼子刺死。”
孟庆祥：“住在我屋后的马进元，鬼子来了，他往南堂医院的墙上爬，叫鬼子一刺刀刺死了。靠我的屋山墙，有个叫侯祥的，50多岁，他正在井台上提水，被鬼子一刺刀刺死了。徐老头老两口，一听到天主教堂打钟，就往东达老郑家的地窖子跑。一个炸弹扔下来，两人都被炸没了。事后发现，附近的树上挂着一个小‘纂’（即妇人的发髻）”。
宁振芳：“我家任临沂城里书院街老营房巷。我的养母叫宁孙氏，她在世时常对我说，1938年4月鬼子进城时，我全家10口人被杀了9口，就剩下我孤伶伶一人。那时，我才出生48天。鬼子进城后乱烧乱杀，穷人都下乡逃难，俺家乡下没有亲戚，老人又跑不动，全家人就躲进城墙洞子里去。鬼子发现后，把洞子内的人全都用刺刀刺死。俺母亲穿看件大棉袄，上下挨了三刺刀。我因为身体小，正趴在母亲怀里吃奶，没有被刺着。后来，鬼子撵着街坊陆大爷去掩埋尸首，听见我还能哭出来，就撕下我母亲的一块祆大襟，把我包起来，放到筐头里，背到天主教堂里藏了起来。两三个月后，我被在天主教堂里做饭的养母抱去，当成亲闺女养大。那时，我满头满脸都是血，我养母给我洗干净。我的右眼，就是那时被母亲的热血扑的，至今看不见东西。”
王建德：“1933年日本电子进临沂城时，我亲眼看见飞机扔炸弹，鬼子又烧又杀，太残无人道了。为了躲难，我母亲领着我和妹妹，还有邻居老常家娘俩、老石家一家15口，一共20人，都藏进北城墙根的地洞里。天傍黑时，被鬼子看见，朝洞里打了一梭子机枪。因这个洞子是丁字形的，人躲在两边，没被打着。鬼子在外边咿哩哇啦地直叫，老石家的老头因为会说几句朝鲜话，就领着全家人出洞了。跟着鬼子出去大约两丈多远，就听着外边叫喊的没个人腔儿。过了好大一会，我家和老常家5口人一起出来，看见老石家一家人全被鬼子杀死。”
李玉英：“我现在73岁，家住临沂城西关书院街北马道。鬼子进城时，有几个突然窜到俺家，把我的公婆和丈夫全拉了出去。我吓得抱着刚满月的孩子钻了床底。我怕孩子哭让鬼子听见，就用奶头塞住他的嘴，紧紧地搂在怀里，没想到，把孩子给活活地憋死了。我在床底下趴了一天一夜。第二天，丢下我那可怜的孩子，到邻家找到了郑大娘，抱头痛哭了一场。当时她和我一样，也无亲人了，不想再活下去。于是，我把他叫到俺家，每人喝了一碗盐卤水。也许是因为卤水太稀了，只是难受了一阵子，俺俩都没有死成。以后就找了绳子，从西城墙上坠绳出城逃跑，俺叔伯哥哥把我接到娘家岗头村去。”
孙建芝：“我今年53岁，是临沂城书院街人。每逢想起自己的亲人惨遭鬼子杀害的情景，就气得浑身发抖。鬼子进城时，许多人家都逃难走了，我家因老的老、小的小，只好躲到城墙洞里去。一天下午。我和母亲实在渴极了，就一块出来找水喝，结果被鬼子发现，跟踪到城墙洞前。鬼子先是往里面打枪，扔手榴弹，接着又放毒气。我三舅当场被打死，三舅母被打断了腿。我的棉袄被子弹穿了好几个洞，幸亏没打着皮肉。我大舅、舅母和表哥实在坚持不住了，就一起爬出去，结果都被鬼子刺死。当时俺们心想：与其叫鬼子杀死，还不如自己死了好。于是，就一起跑到丁家园跳了井。我姥姥和姐姐是先跳进去的，都沉下去了；我和母亲是后跳的，因井底塞满了跳井的人，所以没淹死。事后，我母亲、二姐和我被救活，又躲到徐家园地害里藏了起来。在那里，白天不敢露头，只有半夜里出来找口水喝，找些树叶、野草充饥，身上瘦得皮包骨头。就这样，俺娘仨在地窖里整整呆了100多天。”