国民革命军进占济南，对于视胶济铁路沿线及整个胶州半岛为自己势力范围的日本人来说，无疑是一种挑战。还在1927年秋天蒋介石下野期间访问日本时，日本首相就对南京国民政府决心继续北伐、统一中国的目标深为反感，他曾建议蒋“不必过分着急于北伐”，“应以先行整顿江南为当务之急”。蒋随后在日记中写道：日本“其后必将妨碍我革命军北伐之行动，以阻止中国之统一”。为了避免日本横加干涉，蒋在二次北伐开始前，曾不止一次地公开表示，绝对不致有排外之行动，并绝对保护外国人之生命财产，故相信日本对于北伐绝对不会加以阻碍。但事实上，国民革命军刚进入山东境内，日本驻山东济南及青岛的外交官们，就开始要求日本政府出兵中国山东了。
4月20日，日本政府正式声明，称因在山东各地日人之生命财产受到重大危险，因此不得不取自卫的措置。次日，日本即从天津派出3个中队沿津浦路进抵济南，再从日本熊本海运第6师团5000人至青岛。对此，蒋介石曾再三设法阻止。21日，外交部长黄郛受命照会日本政府，要求日本尽快停止向山东派兵。30日，蒋再派张群以他个人名义赴日，以设法劝阻日本出兵中国山东。然而，随着张宗昌、孙传芳部队开始主动撤离济南，陆续开进济南的日军迅速在西门外商埠区周围设置铁丝网，堆积沙包，并在各路口配置武装士兵，严禁中国军队通行。5月3日，贺耀组第40军数名士兵在送一名患病士兵去医院途中，因受到日军阻止而与之发生争执，一名士兵和一名夫役被日军开枪打伤。此事在本来就对日军横行无忌强烈不满的中国士兵中引起激愤，冲突迅速扩大。