士兵阻止通行，由于语言不通，发生争执。日军士兵突然开枪，打死中国士兵一人，余人避入医院。大约同时，日军在魏家庄向正在张贴标语的中国士兵开枪，造成数人死伤。九时左右突然向驻扎在附近的第四十军第三师第七团的两个营展开攻击。由于当时第七团的团长、营长正外出开会，两个营伤亡惨重，其中第二营全军覆没。十点半时，有一个日本人在隆昌洋行附近试图通过第四十军防地，遭到四十军士兵阻止，双方发生冲突。各处日军士兵听到枪声后陆续开枪，对中国市民和军人展开屠杀，十二时之后已经枪声密集，导致尸体满街。十二时后交涉公署已无法联系，电话亦被割断。此后，济南城内革命军九十二师、九十三师向日军展开反击，一时间枪声满城，居民纷纷关门躲避。
中国军队的顽强抵抗立即制止住日寇的嚣张气焰。日军指挥官福田彦助见事不好，急派佐佐木到一去会见蒋介石，并威胁说“如不停火，中日将全面开战”。蒋介石知悉后当即命令派出10个参谋组成的传令班，分头到各部队传令，对日军停止还击。城外的中国军队于下午五时之前离开济南市，并知会日军第六师团长福田彦助，请其约束部下。
面对停止抵抗的中国军队，日军趁混乱将当时驻扎于济南市广东会馆的第四十军第七团军士共千余人强行缴械，当场枪杀不少人后，将其余人押送至日本领事馆。第三十七军第一团在其驻地小纬四路遭日军包围缴械，官兵大部被掳走。就连南京政府外交部长黄郛办公处也遭到了日军枪击。黄郛随后赴日军司令部交涉，本人遭到强行扣留，卫队被缴械。日军迫使他签字承认冲突由中国士兵挑起，遭到他拒绝。
下午二时，北伐军大部退出济南城，日军趁机占领邮政局和电报局。晚上23时，蒋中正派熊式辉赴日军司令部商讨处理办法，正在协商时，日军用炮火炸毁中国军用电台，守台士兵全体阵亡。
5月3日晚16时左右，日军声称在山东交涉公署门前发现日军尸体，破门而入后强行要搜检交涉署人员的枪械，但并无所得。被围困一天的公署人员，又饿又乏。面对日军欲在公署三楼设置大炮，对国民革命军射击，被蔡公时严词拒绝。恼羞成怒的日本军官，一声令下，将蔡公时等公署工作人员全部绑了起来。蔡公时一腔爱国热血似烈火般熊熊燃烧，义愤填膺，破口用日语大骂日本兵，揭露其狼子野心！日本军官兽性大发，便命日本兵将中国人绑在柱子肆意毒打。为向蔡公时施行法西斯攻心战术，命日本兵挥动刺刀割耳、切鼻种种酷刑残忍地杀害交涉员公署人员。顿时鲜血喷流，血肉模糊，惨不忍睹。日本强盗大声狂笑，形同禽兽！那日本军官原以为会把蔡公时吓得屁滚尿流，低声下气求饶性命，却见蔡公时虎目圆睁，大声怒骂：“日本强盗禽兽不如，此种国耻，何时能雪！野兽们，中国人可杀不可辱！”交涉署庶务张麟书、参议张鸿渐、书记王炳潭等在蔡公时激励下，争相痛骂，怒斥强盗。折磨够了的强盗们还不满足，将蔡公时等人的绑绳砍断，三人一组，拽出屋外枪决。蔡公时被第一批拖到交涉署院内，枪声一响，可怜蔡公时正值英年，未见国家统一，竟牺牲在倭寇的乱枪之下。公署18人仅逃得倒地装死的勤务兵张汉儒，作为现场见证人，写下了
（本章未完，请翻页）