在此次大兼并之前，摩根就曾经对垄断钢铁业做过许多尝试，但由于卡内基“钢铁大王”的地位非常稳固，他的图谋一直没有得逞。
自从南北战争结束以后，美国的钢铁工业迅速发展，并很快处于世界领先地位。以1900年为例，这年美国的钢铁总产出是其最接近的竞争对手英国的1.5倍。美国的钢铁业发展如此迅速主要有两个原因：一是美西战争和布尔战争为钢铁工业开辟了巨大的市场，使钢铁价格上涨，利润猛增；另一个原因是美国铁路业的蓬勃兴起。铁路是钢铁公司的主要客户，为它们创造了丰厚的利润。因此，当摩根基本上垄断了铁路业之后，他又想通过纵向兼并的形式控制钢铁行业，这样不仅可以加强自己的垄断势力，还可以以一种很自然的方式两头获利。那时在钢铁业内部虽然经历了一系列的改组，几百家小厂已分别成为十几家不同的大公司的组成部分。但这些联合企业是些非正式的联盟，内部产生了很多的摩擦。摩根认为应该进行某种更大规模的合并，将小公司进行彻底的统一，在行业内建立更好的秩序，才能在规模经济的条件下满足时代对钢铁的大量需求，并带来更多的垄断利润。
在当时的美国钢铁业，除了卡内基的钢铁公司，还存在其他一些强大的竞争对手，如美国钢铁·铁丝公司的约翰·沃恩·盖茨，美国罐头公司和全国钢铁公司的摩尔兄弟等。而摩根进入钢铁行业正是借助和盖茨的一次合作。
1898年盖茨在新泽西州联合了七家倒钩铁丝公司，组成了一个资金为9000万美元的美国钢铁·铁丝公司，并希望以该公司为根据地，逐渐兼并其他企业，称霸钢铁工业。当盖茨向明尼苏达铁矿公司提出合并方案时，对方表示同意，但是却提出了一个附加条件，就是必须将合并业务全权委托给J.P.摩根公司。盖茨对摩根十分忌惮，极不情愿让摩根介入兼并业务，但又不甘心放弃这次好机会。权衡之后，他还是请同他交往密切的著名律师埃伯特·加利帮忙联系摩根。
后来，盖茨拿出了一个投资高达两亿美元的“联邦钢铁公司”的策划方案，企图建立一个排斥卡内基的中西部各州钢铁大联合企业，请求摩根融资。而摩根在盖茨构想的基础上，加上全美265家薄铁企业，包括国家钢管公司、美国钢网公司等，将它们一并收归己有，创立了一个联邦钢铁公司。该公司成为美国第二大钢铁企业，卡内基在美国的钢铁行业仍然坐头把交椅。摩根想垄断钢铁业就必须设法令卡内基出局，他操纵联邦钢铁公司的关系企业和摩根财团所控制的全部铁路同时取消对卡内基的订单。
但令人惊讶的事，卡内基并没有对这些明显的挑衅行为做出任何反应。他表现得非常平静，因为他自信这些动作都不能动摇他在钢铁业的地位，长此以往，受损失的不是卡内基，而将是那些不从卡内基钢铁公司进货的人。沉默了一段时间之后，卡内基开始对摩根进行反击，而这些反击策略将对摩根在工业界的利益构成很大威胁。卡内基宣布将要在俄亥俄开设自己的钢管厂，直接与摩根的钢管公司开展竞争。甚至不惜破坏主要厂家之间的非正式卡特尔协议，凭借其效率优势，以超低的价格销售产品。卡内基曾经用此方法对付过伊利诺斯钢铁公司，而且也有足够的能力使他的竞争对手陷于破产或被接管的境地。而这次卡内基要对付的显然是摩根刚刚组建的全国钢管公司，他要让摩根知道谁才是钢铁界的霸主。接着，卡内基又抛出了更有杀伤力的策略。他宣布将建设一条运送其产品的铁路，从而直接与摩根拥有大量股份的宾夕法尼亚铁路开展正面竞争。他计划修建一条从五大湖到东海岸的铁路，并途经匹兹堡（即卡内基钢铁公司的总部）运送该地的钢铁。这样一来，卡内基不但摆脱了摩根企图通过限制运输对他实施的控制，而且，还在摩根引以为豪的铁路垄断事业中插上了一脚。卡内基的这一举动令摩根十分恼火，一旦这些计划付诸实施，将会给摩根带来很大的损失。且摩根也已经意识到，单纯在钢铁行业的竞争中，他似乎并不是卡内基的对手。为了结束这种毁灭性的竞争，摩根决定动用他在金融界的强大的资本能量，不惜代价地买下卡内基钢铁公司，实现自己垄断钢铁行业的计划。
因此，当施瓦布适时地透漏出这种意向时，摩根立刻决定抓住这一机会。
