张作霖深知，《满蒙新五路协约》不仅仅是个铁路问题，因为各铁路还有附属地，日本人还要在附属地驻兵。五条铁路一通，满蒙与关内的分离便成定局，日本对东北的控制也就水到渠成，兵不血刃的就侵占了整个东北。想到这张作霖倒吸了一口凉气，根本就不想签这个协约。但当时正在进行的第二次北伐战争，张作霖在这场战争中屡屡失利，眼看着在北京就呆不下去了，在这种形势下，迫于内外压力，张作霖在日方草拟的《满蒙新五路协约》上只签了一个“阅”字，这是张作霖在对日外交中所采用的一贯做法，以备日后反悔之用。
张作霖虽然只《满蒙新五路协约》签了一个“阅”字，但一向认为自己有“恩”于张作霖的田中义一，不相信处于困境之中仍需要他“帮助”的张作霖会不答应他的条件，他认为通过一纸协约满洲已然落到了他的手里，达到了“不战而屈人之兵”的兵法中的最高境界，甚为得意。
田中义一为了通过张作霖实现它侵占中国东北的野心，在1928年的5月18日，日本政府发表了一个看似“保护”张作霖的通告，通告说，“如果战乱达到“‘满洲’时，为了维持‘满洲’治安，日本将采取适当措施”，也就是说要出兵东北。这个通告无疑是个战争宣言，中国政府固不待言，张作霖也对这个通告进行了抗议，美国则对日本政府进行了谴责。这时北伐军又表示，如果奉军撤退，张作霖回到东北，北伐军就不进到长城以北。这么一来，日本也就没有出兵的必要了。为此田中义一也“劝”张作霖回到东北，以便尽快地正式签署《满蒙新五路协约》，通过张作霖掌握东北的实权。田中义一的这个做法，令想以武力占领东北的关东军关东军十分不满。
再说张作霖，虽说在《满蒙新五路协约》签了一个“阅”字，可就是不正式签署协约，总是推脱说他现在只是个陆海军大元帅，并不是总统，代表不了中国政府，而且真若那么做，势必出现“国论鼎沸”，奉系将“不能保持其现在的地位”，而使他无望当总统，反而会坏事。
由于张作霖未能满足日本提出的在中国东北享有种种特权的要求，引起了关东军的强烈不满，认为日本侵占中国东北的最大障碍就是老狐狸张作霖。只要除掉这条老狐狸就万事大吉，田中依靠张作霖完全是不靠谱的幻想。
关东军决定私自策划伺机谋杀张作霖。用时任关东军司令部高级参谋，大佐河本大作的话说：“一切亲日的军阀，我们统统抓住。能利用的时候就援助，不能利用的时候就设法消灭。”
就是这个河本大作，具体制定了谋杀的详细计划，他在策划谋杀张作霖时，曾在一封信中直言不讳地透露了“干掉”张作霖的计划和决心：“……张作霖辈死一二人又有何妨？此次定要将他干掉，即使因此获咎革职，亦在所不惜。”而当时准备暗杀张作霖的还有奉天特务机关长秦真次少将、时任张作霖军事顾问的土肥原贤二中佐等人，可河本断定他们的计划不周，绝无成功可能。他重新策划布置，精心选择了两条铁路交叉点的皇姑屯，以200公斤烈性炸药，布下了张作霖“必死之阵”。下命令的是时任关东军司令官的村冈长太郎中将。
