卡耐基长期在铁路部门工作，深知铁的重要性，铁轨、火车头、铁路标帜和器材都是铁制造的，铁路的广泛兴筑急需冶铁业加速发展。内战期间，南部铁路曾受到相当严重的破坏，仅存的万余英里铁路也多半残缺不全，急需修复，而抢修铁路使铁成为最急需的原料，铁的价格一再暴涨，曾经涨到一公吨130美元，就是以这个价钱去购买，也因运输的关系而不容易买到。卡耐基在工作中亲眼看到许多铁路的铁轨因为年久而磨损，正处于危险的状态，可是却又缺乏新的铁轨，安全问题愈来愈严重，所以他于1864年首次创办的实业是苏必略铁工厂，主要产品是铁轨，工厂有一座熔矿炉，生产铸铁，然后将铸铁轧制成铁轨。这家工厂是他集资办起来的，物色股东和筹措资本都没有困难。工厂的正式名称是匹兹堡铁轨公司。
这家工厂用来轧制铁轨的原料不是钢，而是铸铁，这是因为直到19世纪60年代，美国钢的产量还较低，炼钢主要采用老式的碳化法和坩锅法，成本高，炼出的钢主要供刀具使用。美国铁路路轨以钢轨取代铁轨是19世纪70年代以后的事了。
从19世纪30年代美国铁路建筑开始以后，轧制铁轨成为美国冶铁制铁工业一个重要部门，许多铁轨工厂都有自己的炼铁炉，用自己熔炼的生铁轧制铁轨，由于铁轨需要量不断扩大，铁轨工厂的数目也日益增加，产量大幅上升。1844年，马里兰一家轧铁厂开始生产U型铁轨和T型铁轨，1845年，宾夕法尼亚一家最大的铁轨厂可以轧制熟铁T型铁轨，19世纪40年代末期，美国全国已经建成了16家重型铁轨厂，年产量超过十万吨。
19世纪50年代，生产铁轨的工厂已经成为当时规模最大的铁制品厂，一般都有两、三个热鼓风熔铁炉，并且逐渐发展为综合性工厂，1860年左右，出现了一批规模相当庞大的综合性工厂，其中最大的四家，每一家工厂都拥有100万美元以上的资金，最大的工厂雇佣了差不多3000工人。
匹兹堡的轧铁工业起步很早，早在19世纪30年代，当地就有8家轧铁厂，每年可以轧制6000吨铁块和1500吨生铁，但由于内战的关系，一些生产铁轨的铁厂停产或停工待料，使得铁轨严重缺货，卡耐基见此机会，便于1864年在匹兹堡开设了这家轧制铁轨的公司，如前所述，他的公司是一家综合性的企业，有先进的热鼓风熔铁炉。
但卡耐基的这家工厂尚不能炼钢，不生产钢材。卡耐基专营炼钢业是1870年以后的事，美国直到19世纪70年代，才由铁的时代转人钢的时代。
但工业的进步是很快的，就在卡耐基开办匹兹堡铁轨公司的第二年，也就是1865年5月，芝加哥就使用先进的贝塞麦法炼钢，并用炼出的钢材轨制出美国第一根钢轨，接着在特罗伊等地也开始生产这种产品。1867年，美国的钢轨产量超过2000吨。经过5年，钢轨产量猛增至8.4万吨，1873年又上升到11.5万吨。
内战爆发的前一年（1860年），美国的铁产量已上升到100万吨，跃居世界第一位，较1810年（53908吨）增加了20倍，这里面一半以上是在宾夕法尼亚生产的。当时在美国已形成10个冶铁基地，其中至少有六个位于宾夕法尼亚州或其相邻地区。
近水楼台先得月。由于卡耐基居住于宾夕法尼亚州，他从事冶铁业有许多有利条件，无论就寻找原料、谋求产品销路，或是招聘熟练工人而言，都比其他地方要容易得多。
投资石油业
1864年，卡耐基除投入冶铁业外，还投资石油业，获利甚丰。
现在石油是尽人皆知的重要能源，但19世纪中叶以前在美国还未受人注意。印第安人把这种油装在瓶子里，以一瓶一美元的高价出售，一般人只知道石油可以用来照明，可代替蜡烛或鲸鱼油，耶鲁大学教授西利曼对石油的用途曾作了一番研究。1850年后有些律师在宾夕法尼亚认真勘探了一番，发现当地石油蕴藏丰富。有个当过火车列车员的埃德温·德雷克上校为纽约一个律师所派遣，于1859年前往宾州西北境的蒂图斯维尔进行实地钻掘，结果于8月27日在一处钻到69英尺深处发现了油井，这在美国是破天荒第一遭。德雷克的成功轰动一时，“黑色黄金热”旋即风靡美国，大家见到这里面有大利可获，成千上万的人从远近各地云集到那里，新的油井不断被钻掘，附近一带的市镇很快就兴起。到1864年时那里的油田已扩展到400平方英里，那年的石油产量为210万桶。
卡耐基在铁路上工作，一天到晚与铁和煤打交道，对石油不大感兴趣。但他居住在宾夕法尼亚州，也免不了受这股黑色黄金热的感染，他有一个名叫威廉·柯尔曼的朋友，对探勘油田极为热中，强拉硬扯地把他带到油田地带。不来则已，来到后目睹那种狂热场面，他们都吓了一跳。他们看到，人们从四方八面拥来，扶老携幼络绎于途，以致连住宿的旅店都找不到。不过大多数人一来到此地，就很快地建起一间简陋的小屋。美国人处理问题都采用速战速决的方式。他们住进一片新的土地，就会马上建立起学校、社团，并且发行报纸和组织乐队，然后开始进行土地的开发。卡耐基看见当地到处都是钻井，人们不断地往下钻，就是钻到地狱也好，钻穿地球直达背面的中国也好，不钻出石油来，他们决不会停止，美国人干事业就有这股疯狂劲。
当地有一块很好的油田，位于史托利农场，克鲁曼和卡耐基以4万美元的代价买下了它。想不到这项投资获得了极大的成功，第一年就有100万美元的净利，后来这块油田被评定有500万美元的价值。当初仅仅4万元的投资，竟带了100倍以上的利益，因此加强了他们对石油事业的信心。但卡耐基的主要兴趣在于冶铁业，他把这项意外收益全部用于匹兹堡的冶铁厂的投资。
接着，卡耐基和克鲁曼先生又在俄亥俄州开凿了另一处油田，也获利不少。事业的联手使卡耐基家和克鲁曼家结了亲。克鲁曼先生的女儿嫁给了安德鲁·卡耐基的弟弟——汤姆斯·卡耐基。
19世纪60年代是美国石油工业的起步阶段，在这10年间，原油开采企业从64个猛增到2300多个，产值从200万美元跃至1800万美元。19世纪60年代末，炼油年产量达到520万桶，其中出口27万桶，占当时美国出口价值的第四位。
19世纪70年代以后，美国石油业开始大量采用分馏和裂化提炼法，加速了炼油工业部门的自动化。同时，石油的输送也日益改进，早先是装桶后用车、船转由铁道运输，但这种方法十分不便，途中往往会流失掉三分之一，造成河川和水面污染。后改用输油管方式运输，大规模铺设输油管道。随着石油的大量开采，它的用途也日益多样，既可用于照明，更可用作燃料，还可制造化学工业品，它可以发动内燃机、推动船舰、汽车、飞机等前进，由于它比煤干净，运载也较方便，在许多部门它逐渐取代了煤。
美国自从发现宾夕法尼亚油田后，他处的油田也陆续发现。美国石油分布地区很广，主要在中部数州（俄克拉何马、得克萨斯、阿肯色、堪萨斯），加利福尼亚、墨西哥湾、落矶山与阿巴拉契亚山一带，产量以加利福尼亚为最大。美国石油工业从1860年开始到1925年共生产石油70亿桶以上，占世界生产总量的64%。
但在美国的工业家中，执石油工业牛耳的不是安德鲁·卡耐基，而是约翰·戴维森·洛克菲勒（1834一1937），洛克菲勒与卡耐基的命运有相似的地方，他也毫无依傍，全凭自力创业。16岁时随他的父母迁至克里夫兰，做过工厂学徒工。他于1863年与人一起开设炼油厂时，资本与设备都不够，远远没有赚卡耐基那么多钱。但他后来居上，在1870年集资百万美元组成俄亥俄美孚石油公司，由于经营得法，几年中业务迅速扩张，盘进了好些炼油厂，到1878年时已控制了全国产油量的90%—95%，并将全国大部分输油管掌握在自己手里。1879年与1882年美孚石油公司更番改组成为托拉斯，集中了40来家公司的股权，进一步确立了垄断地位。
俗话说：“一双手只能捉到一条鱼。”如果卡耐基于1864年在油田上大大获利后，集中力量从事石油工业，以他的能力，也许在这个领域会与洛克菲勒平分秋色，但他的志向不在于此。他靠铁路起家，使他倾心的是钢铁，而不是石油，因此他后来成了“钢铁大王”，将“石油大王”的桂冠让给了洛克菲勒。
建造铁桥
1865年，美国南北战争结束，安德鲁·卡耐基30岁，到了而立之年。他预感到美国工业的狂飙时代即将来临，便毅然辞去了宾州铁路公司的职位，以便全心全力经营自己的事业。
公司董事长汤姆森挽留他，有意推荐他任公司副总经理，但见他离去的意向很坚决，便答应了他的请求，并且还诚挚地祝福他前途无量。
1865年3月28日，卡耐基正式告别了铁路公司，当天公司全部员工赠给他一个金表作为纪念。
1866年，美国遭战争破坏的铁路全部恢复通车，但运载工具特别是火车头奇缺。所以，卡耐基于该年和汤姆斯·米勒先生合伙，共同创立了一家火车头制造厂，以“只制造最好的火车头”为经营方针，结果，信誉大增，他们的火车头成为全美最畅销的产品。
这一年，卡耐基还和司各特等5人创设制造铁桥的基斯敦桥梁制造厂，基斯敦是宾夕法尼亚州的别称，所以他们用它来命名。
在此以前，铁路的桥梁都是用木材建造的，常常一不小心，就会被火烧掉，另外一些公司也曾试图用铁来架桥，但都失败了。唯独卡耐基等人的桥梁厂试造铁桥获得成功，既能承受火车行驶的压力，不会断裂，也经得起强风吹击，不会弯曲。从来没有发生过事故。火车经过时也无须减速慢行。所以，他们称得上是世界上第一座铁桥的创建者。
他们最初是想在俄亥俄河上架设一座铁桥，河面有90米宽，很多人抱着怀疑的态度，认为这件事根本不可能实现。但卡耐基还是以坚定的口吻说服了同伙，签订了承造契约。
开工后，铁路公司的头头来视察，也认为要把这些笨重的铁条竖立起来，再让笨重的火车在上面行驶渡河，是不可能的事。
但是铁桥还是架设起来了，一列列火车安全通过铁桥，使人们不得不改变原来的想法。
他们成功的秘诀是：采用最好的材料，全体人员同心协力的工作，而对于技术上暂且无法承造的桥梁，决不接受承造。
由于卡耐基等秉持“制造最高、最佳的产品”的方针，这家造桥公司办得十分成功，每年都能分配高额的红利给股东，1906年，这家公司发行的百元股票竟然卖到了三千元，上涨了30倍。大家都抢购它的股票。