为降低被并吞的危险，1872年，洛克菲勒加入其他炼油商组成的南方开发公司，一起与铁路公司和石油生产商议价。他们与数家铁路公司达成协议，载运量以换取运费折扣，原油打5折到6折，炼制油品打5折到7折。宾夕法尼亚铁路公司承运45％的货运量，纽约中央铁路和艾利铁路则各承运27.5％。除此之外，标准石油还可以坐收竞争对手所付运费的1％。该项协议即使以当时较宽松的标准来看，也极不公平，很快就因石油生产商群起抗议而终止。不为所惧的洛克菲勒转而寻求其他组织型态。1872年8月，洛克菲勒邀请同业组成炼油者协会，自任董事长，代表所有会员与石油生产商议价，但该协会在1873年经济开始不景气时，也瓦解了。
尽管炼油者协会瓦解，凭着标准石油巨大的规模，也足以吞并较弱小的同业。随着石油业在宾夕法尼亚蓬勃发展，美国石油产量由1871年的530万桶，增加到1873年的985万桶。但自1873年开始的5年经济不景气中，原油价格一路下滑，自1871年每桶4.4美元，跌到1874年每桶1.15美元。
洛克菲勒吞并所有克利夫兰地区的炼油同业、建立一个稳固的大企业后，开始进行横向与纵向的组合。在克利夫兰市中心有5个房间的办公室里，洛克菲勒和合伙人一步步地购并美国其他炼油公司，其中最重要的是位在产油区、范德葛夫特的帝国炼油公司，以及在纽约、费城和匹兹堡都有炼油厂的派瑞公司。标准石油的经营触角同时也伸向石油运输的新领域——输油管，第一条5公里长的油管在1865年兴建。拥有输油管者即可制衡铁路公司，因此，在1870年，洛克菲勒开始收购输油管公司，没多久，大多数油管公司都落入洛克菲勒手中。
洛克菲勒持续购买炼油厂及油管公司，跨州企业的风貌俨然形成，但在这时面临一个新的问题。按照当时的法律，任何公司都不能拥有或控制外州公司，所以理论上，原始的标准石油不可以控制俄亥俄州以外的公司。洛克菲勒以巧妙的手段规避法律的限制，他派遣标准石油的人员担任所购并外州公司的信托人，把该公司的股份转给该信托人，而表面上该公司仍是独立经营的公司。
1860年开始，随着洛克菲勒帝国扩张，管理分工对标准石油而言日益重要。历史学家奈文斯（Allan Nevins）说：“（回顾美国公司史）在1877年秋季之前，没有任何公司比当时的标准石油公司的经营状况更庞杂。”不仅如此，当时也没有任何管理模式可供参考（企业管理的观念在1870年尚未诞生）。更困难的是，洛克菲勒合作的对象都是惯于发号施令的企业强人。洛克菲勒以钱财为诱因使这些强人愿意合作，尽可能让所收购公司的管理者成为标准石油的一份子，他也愿意以不公开买卖的标准石油股票支付购并费用，使被购并者能立刻分享大企业的经营成果。研究标准石油的历史学者海迪（Ralph and Muriel Hidy）说：“以多家公司组合成标准石油公司，这样的想法本身就是一个不凡的观念，除此之外，洛克菲勒最大的贡献是说服那些强人与他合作，发挥高效率的管理。”
标准石油的整体政策虽然由克利夫兰总公司制定，但被收购公司的原经营者仍享有部分经营自主权。譬如，帝国炼油公司被标准石油合并后，原经营者范德葛夫特成为标准石油的董事之一，管理输油管业务；原经营波斯威克公司的波斯威克，负责“石油区”原油采购业务；弗拉格勒则继续与总是作对的铁路公司打交道，采取有利合约。另外，标准石油长久以来的律师多德（Samuel Dodd）则转任首席顾问。在这些安排下，标准石油逐渐变成今日所谓的现代企业。虽然洛克菲勒拥有最高职权，但他已为专业管理的分工奠下基础。据其部属说，洛克菲勒在1879年说明自己委派职责的哲学：“其实，如果可以找到其他人代劳，没有人会自己动手。”
洛克菲勒和合伙人知道公司已变得非常庞大复杂，不可能亲自管理企业每个环节，所以组成委员会来管理公司，定期在纽约总部办公室开会。此外，为了监督各单位营运状况，位在纽约的董事会责成各单位负责人每季提报表给董事会。洛克菲勒希望能离新营业总部近一点，便要妻子劳拉和4名子女迁往纽约，住进54街（近第5街）一幢4层楼建筑。
标准托拉斯总裁的步伐
铁路大联盟的构想进入了实质性构建中，这是一个使千百万产业工人、小产业主、石油商们要付出血腥代价的垄断战略。洛克菲勒与其他各地最大的炼油商们一道，多次前往纽约，与铁路大老板们秘谋，终在1871年创建了控股公司“南方开发公司”——一个非常先进的垄断联合体。
托拉斯是洛克菲勒垄断的最终目标，他不满足于卡特尔那种低级的垄断形式，他的目光甚至超越了辛迪加。在洛克菲勒心目中，垄断的含义是将平行的卡特尔进一步高级化，使之成为企业联合体，最终形成托拉斯，实行完完全全的垄断。而南方开发公司正是这种托拉斯形式的雏形，是一种特殊的半垄断形式。在联合体中，各个企业并未丧失其在商业，生产及法律上的独立性，而是以独立的形态进行资本合作，但同时各个独立的企业受由他们所产生的母公司——控股公司的股份份额限制，由此形成金字塔形的企业合作。
南方开发公司成立时的资本额是20万，股份总额有2000股。洛克菲勒及兄弟威廉、合伙人佛拉格勒3人在控股公司中各占180股，合达540股，所以标准石油公司成为了“南方”的最大股东，控制着“南方”的运行和决策。在选择进入“南方”的其他12位股东时，洛克菲勒也犯了难，因为参加联盟的企业，不单只有获得铁路运费折扣之利，成为利益的共同体，而将来有可能成为强硬的竞争对手，这样，洛克菲勒的垄断计划的实行，必将受到阻碍。所以，标准石油公司的洛克菲勒和佛拉格勒谨慎地选择着加入联盟的企业。最终，他们列出了12家公司的名单，来自匹兹堡的有4家，费城有3家，纽约1家，还有1家是洛克菲勒高中时代的朋友潘斯，剩下3家由佛拉格勒及洛克菲勒兄弟分享。股份份额中的剩余部分，由其他12家来分享，平均下来，每家所占比例都很小。洛克菲勒就是要让他的竞争者明白，摆在他们面前只有两条路，解散自己的企业，并入标准石油公司或者是继续单干下去，而最后在运费折扣制的压力下破产倒闭。
南方开发公司与铁路联盟之间相互规定，该公司的货运只能由斯科特的宾夕法尼亚铁路、纽约中央铁路和伊利铁路三家公司分担，铁路公司给予该公司优惠。它们之间也签订了运费秘密协定，根据这个残酷的协定，石油原产地克利夫兰与匹兹堡之间的原油运输费为每桶8角。这个比削价竞争时高出两倍的运费标准一经确立，无论发生什么变化，都要严守公定的运费价格。但是参加此联盟的炼油企业则获得折扣，为公定运费的1半即每桶4角。从克利夫兰到匹兹堡和美国东海岸各城市精炼石油运费为每桶2元，其中有5角的折扣。另外对于纽约、费城两地参加的炼油企业，决定他们的运费为每桶2.56美元，其中给参加企业联盟的折扣为1.06美元。
这样，只有参加联盟的企业才可从中获利，没参加联盟的中小型炼油企业必须付出两倍于公定价格的费用。因此使得许许多多的中小企业破产、倒闭。洛克菲勒则开始大量收购其他炼油公司。他一反先消灭弱敌以孤立强敌，再围歼强大对手的常规手段，而是先向强大的对手大举进攻，以威胁其他的中小业主们，令他们不攻自破。洛克菲勒和同事们先是以尊重、奉承的方式，接近他们要收买的目标。他们总是在许多炼油公司处于日子难过的状态下，炫耀标准石油公司的利润比其他公司丰厚。洛克菲勒本人也会施展他的全部本领进行说服，友好地将目标夺到手。标准石油公司还会运用在特定的市场中削价的办法迫使竞争对手亏本。有时候会导演一场“油桶荒”，向不肯就范的炼油同行施加压力。
标准石油公司的人秘密地操纵着这些看起来是独立于外部世界的公司，但事实上这些“独立”的公司，已经成为标准石油公司集团的一部分。许多炼油商一直不知道，那些用削价或其他施加压力的方法对付他们的竞争者，竟是洛克菲勒日益壮大的帝国的一部分。洛克菲勒在保守他的经营秘密的问题上态度毫不动摇。
洛克菲勒第一步是控制全国的零售商。他软硬兼施，迫使零售商就范。凡是听他的，他许以优厚价格批发美孚油；凡是不听他的，他就进行破坏，直至对方不能营业为止。
成千上万的零售商在美孚石油公司的利诱威胁下，都纳入了美孚石油的轨道。同时期的钢铁大王卡耐基为此曾评论洛克菲勒为石油界的“刽子手”。
洛克菲勒和斯科特的“南方开发公司”实际上是在普法战争导致的市场萧条的情况下成立起来的。战争结束一年后，铁路大联盟的协议不再是秘密的了，而他们的秘密协议，在石油原产地引起了轩然大波。铁路运费的暴涨和企业的纷纷倒闭使得中小企业主们只得团结起来，组织起生产者联盟、销售者联盟，发起“大封锁”反攻，停止产油供应，来对付南方开发公司。并和各宣传结构、新闻媒介一起揭露“南方”与铁路联盟的“强盗”、“欺骗”行径，并把洛克菲勒所统制的企业联盟和铁路联盟称为“大蟒蛇”和“章鱼”。标准石油公司和洛克菲勒已成为石油业的众矢之的。
“南方开发公司”在全社会及官方的压力下宣告结束。中、小产业者、炼油业者们终于赢得了全面的胜利，洛克菲勒则尝到了第一次败退。当这些中小业主们从胜利的欢呼中平静下来，这才发现，产油者的供应对象——炼油商们，都成了洛克菲勒的属下。原来，失败了的洛克菲勒，在与产、炼油者奋争中，早在暗地里就展开了迂回策略。原来产油者停工，炼油者没有原油，无以继业，银根吃紧，只好向银行继续申请告贷。然而，银行的董事们、职员们都收下了“标准石油公司”馈赠的股票。告贷者们为了生存，只能接受洛克菲勒的股份，结果克利夫兰的26家炼油企业，只有6家影响不大的公司幸免，其余全被洛克菲勒兼并。产油者们眼前出现了这样的尴尬：自己产的油还是要卖给洛克菲勒，洛克菲勒成了初级的大垄断者。
“南方开发公司”的解散是洛克菲勒人生中第一次重大的失败，但许多美国历史学家都说：“洛克菲勒不是一个简单的人，一个普通人若是被舆论攻击得遍体鳞伤，势必深感受挫，并会崩溃瓦解，然而他却好像没事一般，仍深深扎头于他的垄断梦想中，正由于他有常人无法理解的幻想及坚韧不拔的斗志，所以他不会因受挫便一蹶不振。在他心中没有任何东西能成为他达到目标的障碍。”正是在他这种坚强意志的带领下，使得标准石油公司由小到大，到托拉斯，成为世界石油业的霸主，并长盛不衰。所以在垄断了炼油业后，洛克菲勒又开始向原产地业者进攻了。
为了打破原产地业者同盟，洛克菲勒不是用低价来收购原油，而是作出了令人费解的决定：以每桶4.75美元的超高价收购原产地业者同盟的原油。于是许多原产地业者不顾联盟的宗旨，纷纷开挖新油井，扩大与标准石油公司的交易量。但标准石油公司在与原产地业者所签定的合约中，并未保证永远保持4.75美元的价格，而是在维持了两周后，突然宣布终止合约，他们称供过于求的状况已打破了历史上最高记录，所以只能出价每桶2.5美元，甚至讲到：“下星期如果每桶高于2美元我们就不买了！”而许多原产地业者在这一段时间中，都纷纷开挖了新的油井，使原油产量大增，苦于没有销路，他们只好以很低的价格出售给标准石油公司了。
为了彻底打破原产地业者联盟，征服原产地业者，标准石油公司的董事长洛克菲勒又采用了他一生中惯用的策略——间谍和伏兵战略。洛克菲勒拉拢曾是他的敌人——亚吉波多，一个原产地业同盟者，使之为自己服务。他让亚吉波多成立了一家叫ACME的公司，并开始收购原产地业者的股票。
洛克菲勒还利用善鼓动的亚吉波多去煽动原产地业者的炼油企业加入他的标准石油大家庭，而亚吉波多也的确胜任。由于亚吉波多的杰出才能和为标准石油公司所作出的贡献，不久就被提升为标准石油公司的副董事长，在洛克菲勒退休后，还出任了第二任董事长。
为了进一步地扩大标准石油公司的垄断规模，从而获取巨大的垄断利润，洛克菲勒和他的伙伴们又在密谋联合纽约、匹兹堡和费城的石油大亨们，并进而控制他们在萨拉托加密谈。萨拉加托是位于纽约平原的一个古战场。1874年，洛克菲勒在这里的别墅里召集了纽约、匹兹堡和费城的石油大亨们，展开了一场新的没有硝烟的战争——石油吞并大战。
起先，纽约实力雄厚的石油大亨波斯特维克已经被说服，站在了洛克菲勒的旗下。接下来的目标便是攻克费城的沃登和匹兹堡的洛克哈特。