当时，有一个比洛克菲勒年长10岁，名叫詹姆斯·克拉克的年轻英国商人在克利夫兰。詹姆斯·克拉克有2000美元的资金，他想寻找合伙人开一家公司。而作为他的朋友的约翰·D.洛克菲勒的才干自然是詹姆斯·克拉克所了解的。詹姆斯·克拉克希望约翰·D.洛克菲勒能成为自己的合伙人。约翰·D.洛克菲勒也很愿意和詹姆斯·克拉克合作，只是他当时并没有作为合伙人所需要出资的2000美元，约翰·D.洛克菲勒当时所有的积蓄只有大约800美元。如果他能凑足另外的1200美元，那么这个合作的前提就不再是问题了。约翰·D.洛克菲勒找到自己的父亲威廉·埃弗里·洛克菲勒求助。威廉·埃弗里·洛克菲勒告诉约翰·D.洛克菲勒，他为每一个孩子都准备了1000美元，但是需要等到21岁时才能交给他们，如果约翰·D.洛克菲勒想现在就拿走这笔钱的话不是不可以，但是，在约翰·D.洛克菲勒满21岁前，约翰·D.洛克菲勒必须向他的父亲威廉·埃弗里·洛克菲勒支付10%利息。威廉·埃弗里·洛克菲勒的这个贷款要收取10%的利息在当时确实远远高出银行的贷款利率。急需这笔钱的约翰·D.洛克菲勒接受了父亲的条件，拿到了威廉·埃弗里·洛克菲勒为他准备的1000美元，再加上自己的积蓄，约翰·D.洛克菲勒与詹姆斯·克拉克的合作成为了事实。
约翰·D.洛克菲勒与詹姆斯·克拉克的詹姆斯·克拉克—洛克菲勒公司主要经营谷物和肉类。这是约翰·D.洛克菲勒的第一家公司。在克拉克—洛克菲勒公司，詹姆斯·克拉克负责采购和销售，约翰·D.洛克菲勒负责融资和记账。詹姆斯·克拉克对约翰·D.洛克菲勒十分欣赏，因为约翰·D.洛克菲勒做人言而有信，做事有条不紊。由于经营得当，克拉克—洛克菲勒公司成立的第一年就做了4.5万美元的生意，第二年形势更加喜人，净赚1.2万美元，约翰·D.洛克菲勒与克拉各得6000美元。
1858年8月，德雷克在宾夕法尼亚州成功地找到了石油。这个消息一经传出，大批投机者迅即涌入宾夕法尼亚州。很快，宾夕法尼亚州就井架林立，原油产量自然也飞速上升。约翰·D.洛克菲勒虽然也得到了这个消息，但是他的主要精力在农产品贸易上。
约翰·D.洛克菲勒之所以没有跟随着投机者们进入宾夕法尼亚州的原因是，他认为原油的产量虽然大幅飙升，但是，市场对石油的需求有限，石油市场的行情必然下跌。结果也与约翰·D.洛克菲勒的预测相吻合，由于投机者们疯狂地开采导致石油供大于求，进而使得石油价格一跌再跌。许多“钻油先锋”因为投入和所得到的回报不成比例而无力支撑下去。
3年后，石油价格再次暴跌的时候，约翰·D.洛克菲勒却逆势而进大举投资石油了。他与詹姆斯·克拉克共同投资4000美元与当时在炼油厂工作的安德鲁斯合伙开设了一家炼油厂。安德鲁斯采用一种新技术提炼煤油，使得他们的炼油厂发展迅速。
在当时的美国，照明仍然主要是用松脂和鲸油。1861年，美国内战爆发使得美国的南北方成了敌对的两大阵营。南方政府中断了对北方的松脂供应，而南北战争的爆发也使得捕鲸业倍受打击。美国北方唯一能用于照明的鲸油的价格自然飞涨。从石油中提炼的煤油很快得到广泛地使用，成为了紧俏的商品，这就促进了石油业的快速发展。
1863年，新建的铁路线使克利夫兰在石油行业中处于有利的竞争地位。在铁路线沿途所新建的多家炼油厂中就有约翰·D.洛克菲勒与詹姆斯·克拉克和安德鲁斯合伙成立的公司炼油厂。不到一年的时间，他们的炼油厂赚得了丰厚的利润。约翰·D.洛克菲勒加大了在石油行业的投资力度。
约翰·D.洛克菲勒与詹姆斯·克拉克对石油业的前景和他们的公司的未来这时存在着极大的分歧。受南北战争战况变化以及供求关系的影响，当时美国石油价格波动很大。约翰·D.洛克菲勒和安德鲁斯主张以贷款的方式借机扩大生产，而詹姆斯·克拉克则主张相机而动。
这个严重的分歧意味着两个人的合作走到了尽头。1865年，25岁的约翰·D.洛克菲勒向詹姆斯·克拉克摊牌。两个人决定以拍卖公司的方式解决他们之间的分歧，出价高者得公司。约翰·D.洛克菲勒所处的价格高于詹姆斯·克拉克，于是，詹姆斯·克拉克退出。两个人的合作以绅士的方式结束了。
在与詹姆斯·克拉克分道扬镳后，约翰·D.洛克菲勒与安德鲁斯成立了洛克菲勒—安德鲁斯公司。两人按照他们预定的计划向银行贷款并建成了克利夫兰最大的炼油厂。
同年，南北战争结束，恢复和平的美国开始战后重建。这一时期的美国的经济大规模发展从而使得美国的大型企业得以涌现。美国的所有行业都进入了大发展的轨道。约翰·D.洛克菲勒与安德鲁斯的洛克菲勒—安德鲁斯公司成立不久就在同年年底开办了第二家炼油厂。他们的这两家规模在今天看来并不大的炼油厂确立了洛克菲勒—安德鲁斯公司在美国在当时的炼油中心之一的克利夫兰炼油行业的龙头地位。
炼油业在当时是一个新兴的行业，相关的法律的约束尚未跟进，这就意味着洛克菲勒—安德鲁斯公司可以在政府管理上暂时缺位的情况下可以根据自己的需要和能力任意扩张并获得对应的利益。当然，在没有任何管理的制约和没有传统的束缚的同时，也没有可以借鉴的经验，一切都需要从头开始。约翰·D.洛克菲勒需要而且他也确实很愿意自由发挥来经营他和安德鲁斯的洛克菲勒—安德鲁斯公司。
约翰·D.洛克菲勒在看到整个石油行业的发展趋势的同时，又善于把握自己公司日常经营活动中的关键细节。
在那段时期，作为老板的约翰·D.洛克菲勒凡事总是亲历亲为。为了买油，他经常往返于克利夫兰和富兰克林地区，以节省中间商的费用，他还经常在生产第一线指挥生产，有时他还和他的员工一起将货物发送到纽约。
约翰·D.洛克菲勒同时还扩充了设施，改善了石油的质量，控制了成本，避免自己的贸易经营受到市场价格波动的影响，以保持使洛克菲勒—安德鲁斯公司的优势竞争。起初，用来运输石油的木桶是以2.5美元的价格从制桶厂购进的，但不久，约翰·D.洛克菲勒的工厂就能每天生产出数千个成本不到1美元的木桶。当地其他制桶厂通常是用木材直接进行加工，而约翰·D.洛克菲勒的工厂却是先将木材放到窑里烘干减轻其重量后再进行加工，这就使得洛克菲勒—安德鲁斯公司的运费较其他炼油厂要低不少。
19世纪60年代，美国成为欧洲美国煤油的主要供应地。在1866年，产自美国克利夫兰煤油的2/3用于出口海外，出口海外的主要方式是通过纽约港海运。约翰·D.洛克菲勒意识到自己也必须拓展国外市场。同年，约翰·D.洛克菲勒派出他的弟弟威廉前往纽约组建洛克菲勒公司，这个公司除了负责管理大西洋沿岸的业务和出口业务外，还要负责监控市场信息。通过及时掌握到的第一手的信息来控制炼油厂“原油”的采购量，便于在行业的竞争保持优势。不久，进入石油业时间并不长的约翰·D.洛克菲勒就得到石油市场上“无所不能的巫师”的称号。那年，约翰·D.洛克菲勒和安德鲁斯的洛克菲勒—安德鲁斯公司销售额超过200万美元。
约翰·D.洛克菲勒的成功除了上述的做法作为支持外，他的建立和保持强有力的现金地位以确保足够的资金来源的原则也是他能在同行业在占据优势地位的一个重要支撑点。为了实施一系列的扩张计划，约翰·D.洛克菲勒与安德鲁斯的洛克菲勒—安德鲁斯公司急需大量资金。但是，当时的银行家们大多只想为可以迅速获得利润的铁路公司和政府融资，而不愿意向新兴行业的炼油业投资的原因是。炼油业是一个风险极大的行业，受太多的外在因素影响。其中除去市场竞争激烈和价格浮动巨大容易破产外，还有就是频频发生的灭顶之灾——火灾。一场大火足以使一家炼油厂顷刻之间化为灰烬，让投资者倾家荡产，血本无归。事实上，当时的炼油厂发生火灾的概率确实不是一般的高。而对石油储量与石油销售市场所需的量的判断也是悲观的银行家们要求自己不要涉足对炼油业投资的一个原因，银行家们认为石油资源的枯竭是早晚必然发生的事。而另一个影响了银行家对炼油业投资的原因则是当时的大多数石油商确实是抱着捞一笔钱就离开的做法。而炼油业所需要的资金又是那样的巨大。
约翰·D.洛克菲勒要拓展洛克菲勒—安德鲁斯公司的业务自然需要大笔的资金，他所需要的资金可不是一个普通的炼油厂需要的那么多，他需要的资金已经远远超出了克利夫兰各家银行的承受范围。为了解决这一问题，约翰·D.洛克菲勒需要去纽约的银行界。
就声誉而言，精明、沉稳、严肃、内敛的约翰·D.洛克菲勒在当时已经被银行家们视为具有远大前途的青年实业家。而好的声誉正是从银行那里获得资金支持的先决条件，约翰·D.洛克菲勒认为自己从杜鲁门·汉迪以及其他银行家那里获得巨额的贷款并不是大问题。
约翰·D.洛克菲勒还需要解决一个问题，或者说是具备一个必须的条件：了解银行家们的心理并懂得如何加以利用。而约翰·D.洛克菲勒确实懂得银行家们的心理，而且，约翰·D.洛克菲勒很擅于对银行家们使用欲擒故纵的招数。有一次，约翰·D.洛克菲勒急需1.5万美元。他在街上边走边想着如何获得这笔钱时，刚好有一位银行家乘着马车经过他身边。彼此打过招呼后，银行家告诉约翰·D.洛克菲勒，自己手头有5万美元的资金想要放贷。这个银行家问约翰·D.洛克菲勒是否需要。约翰·D.洛克菲勒注视了对方很长时间之后慢吞吞地说：“您给我24小时考虑一下吧。”约翰·D.洛克菲勒相信，这样一来，自己才能得到最优惠的条件。约翰·D.洛克菲勒确实获得了贷款，而且也确实是按照他所认为的优惠条件获得的。
约翰·D.洛克菲勒与银行家们打交道时说不掺杂浮夸之词的，他还贷时也干脆利索。这些都给银行家们留下了深刻的印象。他们很乐意将他们的贷款给约翰·D.洛克菲勒，即使约翰·D.洛克菲勒当时可能没有及时还贷的能力。有一次，约翰·D.洛克菲勒的一间炼油厂发生火灾，这间炼油厂化为了灰烬。保险公司的赔付款项并不及时，如果要保证经营的正常运作，就必须先从银行家那里贷款来支付恢复生产经营所需要的费用。为此，约翰·D.洛克菲勒来到一家银行申请贷款。那家银行的董事会对于是否继续给刚刚被火灾夺走了一间炼油厂的约翰·D.洛克菲勒贷款犹豫不决。这时，与会的一个名叫斯蒂尔曼·威特董事站了出来，他拿来自己的保险箱对其他董事说：“我们的银行应该毫不犹豫把钱借给这个年轻人。如果需要担保，”斯蒂尔曼·威特指着自己的保险箱继续对其他董事说：“我来承担。”
约翰·D.洛克菲勒得到了强有力的支持，无论是在金钱上还是在信誉上。
约翰·D.洛克菲勒的个人魅力使他和他的公司可以在任何时候都能掌握着远比别人雄厚的资金，这也是他能在竞争中始终处于不败之地的法宝。
1867年，约翰·D.洛克菲勒雇用了亨利·弗拉格勒作为自己的助手。亨利·弗拉格勒为约翰·D.洛克菲勒日后美孚石油公司的建立做出了巨大的贡献。亨利·弗拉格勒给予约翰·D.洛克菲勒的不仅仅是他在约翰·D.洛克菲勒的美孚石油公司的建立所做到贡献，他对于之后的约翰·D.洛克菲勒的影响同样也是巨大的。亨利·弗拉格勒并不是一个初出茅庐的年轻人，他是一个在商海沉浮多年的年轻人，他通过自身的浮沉所得出一个结论就是“合作和联合”。这一结论在影响亨利·弗拉格勒自己的同时也影响了约翰·D.洛克菲勒和他的公司。正是受亨利·弗拉格勒到影响，约翰·D.洛克菲勒开始热衷于公司间的联合。
1870年1月10日，30岁的约翰·D.洛克菲勒联合了两位实力雄厚的合作者共同创建了美孚石油公司的前身——标准石油公司。约翰·D.洛克菲勒以超过1/4的股权而成为标准石油公司创办人和总裁。
2年后，约翰·D.洛克菲勒的标准石油公司就控制了克利夫兰的绝大部分炼油企业，约翰·D.洛克菲勒的石油帝国正式开始组建，组建的方式就是史无前例的联合事业——托拉斯。在这个托拉斯结构下，约翰·D.洛克菲勒合并了40多家厂商，垄断了全国80%的炼油工业和90%的油管生意。