曾国藩遵旨赴任两江总督，同治九年九月初六日（1870年9月30日）曾国藩向李鸿章交卸直隶总督印务，九月二十三日（10月17日）从天津启程赴京陛见，旋即返任两江总督。这次南下，曾国藩也带李兴锐和陈兰彬一起前往，李兴锐先安排在南京两江总督府内工作，而直接点名让陈兰彬到上海的江南制造局任职，因为陈兰彬具有任重致远之志，不避艰险，由他担任“讲求防海、制器、操练轮船之事”颇为适宜。
此时的陈兰彬已是曾国藩手下的得力干将，两人来往密切。是年十一月，曾氏在日记中记：“未刻，陈荔秋自沪来见，谈甚久”（十一月初六日）《曾国藩日记》下，第2392页。。“章价人、陈荔秋先后来久坐”（十一月十六日）《曾国藩日记》下，第2395页。。“陈荔秋、王子云先后来谈”（十一月二十九日）《曾国藩日记》下，第2400页。。《东华续录》记载：“曾国藩奏遵旨赴任两江，恳请陛见，并请将主事陈兰彬带至江南。……主事陈兰彬着准，由曾国藩带往江南差遣委用，将此由六百里各谕令知之。”王先谦：《东华续录》（同治朝），第3446页。
同治九年九月十六日（1870年10月10日），曾国藩向朝廷递交《奏带陈兰彬至江南办理机器片》。曾国藩重用陈兰彬不仅是一般的用人需要，而是他已认准陈兰彬是具有办洋务能力的人才。奏曰：
再，四品衔刑部主事陈兰彬，经臣于上年正月奏调来直襄办一切，深资臂力。该员实心孤诣，智深勇沉，历练既久，敛抑才气，精悍坚卓，不避险艰，实有任重致远之志。臣九月初六日奏陈海上操兵之法，其要全在船主得人。目下中国轮船，于驾驶出洋尚未练习，欲求已成之材，可为船主者，自属不易多遘。将来召募之始，必先择闽粤沿海之人不惮风涛者，使之学习掌舵看火测量沙线等法，以期渐就娴熟。该员生长粤东，留心兵事，若令延揽将才，于轮船操练事宜，必有裨益。至外国技术之精，为中国所未逮，如舆图算法，步天测海，制造机器等事，无一不与造船练兵相为表里。其制则广立书院，分科肄业，凡民无不治学，其学皆专门名家，每治一艺，每制一器，皆系父子相传，世继其业，然后入微合漠，愈久愈精。其国家于军政船政，皆视为身心性命之学。如俄罗斯初无轮船，国主易服微行，亲入邻国船厂，学得其法。乾隆间，其世子又至英国书院肄业数年，今则俄人巨炮大船，不亚于英法各国，此其明效。江苏巡抚丁日昌屡进臣言：宜博选聪颖子弟，赴泰西各国书院及军政、船政等院，分门学习，优给薪斧，宽假岁时，为三年蓄艾之计。行之既久，或有异材出乎其间，精通其法，且效其意，使西人擅长之事，中国皆能究知，然后可以徐图自强。且谓携带子弟等赴外国者，如该员陈兰彬及江苏同知容闳辈，皆可胜任等语。臣精力日衰，自是难策后效，然于防海制器等事，亦思稍立基绪，异日有名将帅者出，俾之得所凭借，庶不难渐次拓充。陈兰彬素有远志，每与议及此事，辄复雄心激发，乐与有成。该员系奉旨交臣差遣之员，此次仍拟带至江南，于目前操练轮船，将来肄业西洋各事，必能实力讲求，悉心规划。理合附片陈明，伏乞皇太后、皇上圣鉴明示。谨奏。 《曾国藩全集》奏稿（十二），第7133-7134页。
该奏折反映了曾国藩对陈兰彬总体的看法和对他能把“洋务”办好的信心。值得注意的是：第一，曾国藩高度评价陈的前期工作。“该员实心孤诣，智深勇沉，历练既久，敛抑才气，精悍坚卓，不避险艰，实有任重致远之志”，是曾国藩对陈兰彬在直隶工作以及在天津处理教案等工作的总评价。第二，作为管理洋务的南洋大臣的曾国藩尤其注意到“海上操兵之法”，关键在于培养人才，即培养一批具有驾驶轮船出洋航海本领，又具有一定技术知识的“船主”，这样的人才必须在“闽粤沿海”一带寻找。在曾国藩看来，陈兰彬具有“延揽将才”，操练轮船事宜的能力，他生长在广东，又“留心兵事”，这些优势肯定能把工作做好。第三，曾国藩看得更远，把陈兰彬安插在制造局，为以后派他率领学生留学美国打下基础。曾国藩认为，外国技术之精，在于外国重视教育，“广立书院，分科肄业，凡民无不治学，其学皆专门名家，每治一艺，每制一器”。陈兰彬在江南制造局工作，可以了解中国办洋务的情况，知道中国缺哪些机器，缺哪些人才，“将来肄业西洋各事，必能实力讲求，悉心规划”。《曾国藩全集》奏稿（十二），第7133页。
陈兰彬被派往江南机器局担任总办，这是他正式办理洋务实事的标志，从此，他的洋务思想在实践中得到升华。陈兰彬在《太傅一等毅勇侯文正公祭文》中谈到这段经历：曾氏“复奏调兰彬于江南委勷沪上机器局务。机器非兰彬所习知，公亦知此非兰彬所能，特筹所以长驾远驭之策，谓：前古富强在兵与农，今日西人富强在兵与商，其用兵恃炮利船坚，无不根本于算法，欲选幼童出洋肄习，悉其技艺，与李伯相奏派兰彬携带前往”。《大界曾氏五修族谱》（一），第361页。
江南制造局的全称是“江南机器制造总局”，简称“江南制造总局”、“江南制造局”、“上海机器局”、“上海制造局”。它是曾国藩与李鸿章共同创办的中国第一家大型的使用机器生产的工厂，无论从创设局厂时间之早，经费之多，规模之大，设备之厚，生产能力之强，均属首屈一指。据《江南制造局记》记载，“上海制造局同治四年（1865）五月初，购洋人机器在虹口开办。六年（1867）夏始移城南高昌庙镇”。江南制造局内分建各厂：机器厂、洋枪楼、汽炉厂、木工厂、铸铜铁厂、熟铁厂、库房煤栈；后又建轮船厂，筑船坞。管理部门是公务厅，内有：文案处、报销处、支应处、议价处。七年（1868）设翻译馆。八年（1869）增设汽锤厂，另建枪厂，又设广方言馆。十三年（1874）立操炮学堂。魏允恭编：《江南制造局记》，台北：文海出版社1969年版，第147页。
江南制造局是清政府经营的新式军用企业之一，其经费从海关收入提取，因此能成为当时最大的军火工厂。该局主要制造枪炮、水雷、弹药、机器和修造轮船。主要依靠外国提供机器和主要原材料，但技术大权落入洋人之手。制造厂的筹办者是李鸿章，但大规模地将西方的机器设备引进该厂则是在曾国藩手上完成的。1863年曾国藩选派最早留学美国的容闳赴美购办“制造机器之机器”。1865年，容闳向美国朴得南公司购回中国向西方直接购办的第一批机器，最后由李鸿章总其大成。此外，徐寿、华蘅芳等人参加了机器安装工作，该局的大政方针由曾国藩、李鸿章商定，具体管理工作则先后由曾氏幕僚丁日昌、冯焌光、李兴锐负责。
曾国藩推荐丁日昌主持江南制造局事务。曾国藩看中丁日昌是因为丁“以绝异之才，负救时之志，生长之乡，服官之地，皆在海疆。其于外洋地形国势久已熟习见闻”。在给丁日昌信中，曾说：“机局事绪繁多，宜得一人主政，曾与李相（李鸿章）商及。顷接来函，已拟推阁下就近主持，请勿过事推让。”在信中，他又向丁推荐陈兰彬，说：“荔秋胆识俱优，意量尤为深远，久拟屈以外秩，惟闻其宦情素淡，所志似不在此，将来必思得一当以位置之。”《曾国藩全集》书信（十），第7202页。
江南制造局管理人员有督办、总办、提调、委员、司事等。陈兰彬于同治九年（1870）至同治十年（1871）任江南制造局总办。同治九年（1870），江苏巡抚丁日昌任督办，丁日昌爱才是出名的，加上曾国藩的推荐，陈兰彬以刑部主事身份任该局总办。1871年该局的督办是北洋大臣直隶总督李鸿章，南洋大臣两江总督曾国藩，陈兰彬以候补京堂身份当总办。魏允恭编：《江南制造局记》，第814页。
虽然陈兰彬自谦“机器非兰彬所习知”，属于初习洋务之人。但是，史料告诉我们，陈兰彬是识大体，顾大局，视野宽阔，懂得从世界大局、中国大局的视野去处理具体的洋务实事。他时刻关注列强对中国的野心，也注意中西的差距，中国应该如何学习西方所长以补救中国之不足，中国又应如何发挥自己所长，立足于自强，御敌于外等等。他给友人的信中经常谈及列强对外扩张和对中国的野心。他指出，俄国“横亘六七万里”，英国“辟地遍四海”，普鲁士“崛兴西陲，皆有雄视八荒之志”，法国虽然在普法战争中失败，但“意气仍傲睨不群”，日本“方追逐其间”，美国“与高丽又见仗”。至于“我之属国”，如缅甸、暹罗、安南，“悉有西人占居地方，多者近千里，少者百数十里。英人仍刻刻图谋，……每念及此，耿耿杞忧，曷其有极”。《陈荔秋来函》，《晚清洋务运动事类汇钞》上册，第62-63页。
中西差距之大也令陈兰彬深感中国必须加快办洋务的步伐。他认为中西差距在于，其一，中国大计“在兵与农”，西人大计“在兵与商”，西人不仅船坚炮利，而且“网利无遗”。其二，中国“煤铁等矿虽多，而开办即虞掣肘，久办必成漏卮”，而西方“上下同心，群讲究军国重务”。其三，中国社会风气“习虚意虚文，第以名利羁縻，绝少忠诚孚结”，而西人讲究的是“务真实”。在这样的对比下，陈兰彬觉得中国必须花大力气，“非有大力者转移风气，除冗滥而务真实，与彼人度长絜短，胜而复发，将何以善其后乎？”中国必须经过长期的努力，做到“彼中之事，我无不知”，“彼中之技，我无不能”。《陈荔秋来函》，《晚清洋务运动事类汇钞》上册，第62页。这样的分析，说明陈兰彬非常清晰地认识到，中国向西方学习的目的所在。
陈兰彬被派往上海任上海机器局总办，开始筹划局内各种事务，并经常向曾国藩汇报局务的进展。朋友李兴锐在日记中也记载了陈兰彬在上海机器制造局的情形。同治十年三月十一日（1871年4月30日），李兴锐到上海时，陈兰彬专程从机器制造局赶来迎接。李在上海期间，陈兰彬带领他参观制造局，他的日记记载：“复乘小舟访荔秋、竹儒于机器局，畅谈半天。略观局中制造，及访广方言馆徐君。电线、小机器，皆异物也。”《李兴锐日记》，第70页。“赴机器局，荔秋引与遍观机器。”《李兴锐日记》，第71页。“坐铁皮火轮舢板至机器局，与竹儒、荔秋、玉生及卸任台湾道黎召民（兆棠）畅谈。” 《李兴锐日记》，第79页。
同治十年三月初一（1871年4月20日）曾国藩在给陈兰彬的信，函商沪局续钉轮船、改造天平旧存器具、设厂炼铁、设局制办火药等事。《曾国藩全集》书信（十），第7360-7363页。
在制造轮船问题上，陈建议：“一仿外洋兵船之式，并造铁壳舢板以为铁壳大船先导，继造铁甲兵船，一二年后遂可就绪。”曾国藩肯定铁甲船的优点，因为船上安设灵活炮台二座，座各二门，这样“敌炮不能伤我，我炮可以击敌，诚属防守利器”。但曾国藩担心此类船“体质笨重，不利行驶”，所以他认为：“姑试为之。如尚易于运棹，即可仿照续造。倘多不便，再议酌更。”后来，曾国藩又致信陈，指出沪局拟俟铁壳舢板竣工即试造铁壳大船及铁甲兵船。 《曾国藩全集》书信（十），第7361、7420页。
在改造天平旧存器具问题上，曾国藩认为旧的制造水雷方法，“法殊拙滞”。“近日夷人水雷去葫芦等件，改用电线点放，较为灵捷。”可以仿效。
制造各种兵器、船只必须大量的铁为原料，那么，如何解决设厂炼铁问题？在哪里设厂？曾国藩在给陈兰彬的信中提出，大件熟铁采用外国，这不是长久之计，在上海设厂炼铁也不适宜，“似宜在产铁之境另选僻静之地”。在何处设厂？曾国藩说：“闻湖南、江西、广东皆产佳铁，或在江西鄱湖、星子、都昌等处，或在湖北上游、嘉鱼、沔阳等处，或在广东惠、潮等处开设铁厂”，原则是“须山铁易于运厂，出厂易于登舟，又须易于取煤之处，乃为妥善”。曾氏建议在局内选择适合的人进行实地考察再作决定。至于设局制办火药一事，制造局已在龙华江堪得一所，距制造局不过十里。曾国藩非常关注炼造洋炮的技术改进。他给陈兰彬信中指出，造洋炮，治高克法即用汽锤在炉内沾锤，比之诸法尤速，但不尽善；局内制熟铁炮，期“精利坚洁”，不要“强求新法”；造枪，“拟改后开门易于入药，更为敏捷”。《曾国藩全集》书信（十），第7361-7362页。
担任总办期间，陈兰彬不忘曾国藩对他的叮嘱：负责轮船操练事宜，帮助延揽更多的将才。他热衷选拔各类人才，尤其物色船主虾、梁（梓芳）、招、张、温、李（凤苞）、陈、黄八人。曾国藩肯定陈的工作，但又认为，“荔秋前得八人，其材艺较优者已为闽省截留，余但能充长江引水之选，未可遽作船主”。《曾国藩全集》书信（十），第7409页。 曾国藩觉得，船主之才难得，虾先生最优，但已驾船出洋，梁先生次之，也为闽厂截留。怎么办？曾氏提出，在“中材”中培养，“熟极生巧”。他说：“船主之才如此其难，只可就中材而教诱之，逐渐讲习，或有进步。……习者既多，则熟极生巧，良才出焉” 《曾国藩全集》书信（十），第7401页。，其他人也各具一技之长，希望招致局内，量才使用。陈兰彬亦十分爱才，也量才分别使用。后来，曾国藩又给陈兰彬一信，既肯定其四出物色人才的功劳，但也立足于人才的培养。他说：“古今鲜现成之伟人，大洋亦鲜现成之船主。择其资质相近者，教以良师，需以岁月，或有成效。”《曾国藩全集》书信（十），第7419页。
同治十年（1871）四月，陈兰彬给友人的信中谈及他在上海机器局的工作，说：“弟到沪以来，觉数事近得端绪者，一则徐雪村造试震药，幸已有准，可制铜管拉引，并可渐改翎管拉引，向用铜管枪子，亦可望改纸管。一则王少云用强水劫制铜板，比亦试准。绘刻地图，可望成书。一则徐仲虎见丹国用中国字作电报，拟议仿行。惟查机器价虽不多，而一米电线需五百元，恐中国难筹此款，并难禁长途损坏耳！一则月内造成铁壳火轮舢板。” 《陈荔秋来函》，《晚清洋务运动事类汇钞》上册，第63页。除了这四事外，还计划建造“铁壳大兵船”、开设火药厂以及试炼钢铁。
在上海机器局办事期间，陈兰彬认真考虑中国如何制器，如何利用中国的资源，又如何利用中国的制造抵御外敌等问题。他在给友人的信中说：“年内闻谙于洋务者谈议，皆谓方今急务莫重于防外，防外莫先于制器。试举一端言之，现计闽沪两船局用铁甚巨，然此尚属试办，将来若制铁甲船、铁炮台则用铁不可以数计。船厂之铁向取资于外洋，无论价重，洋人专利以耗中国，万一有变，彼人止铁不来，实能制我之命，此事之可忧者也。”这里表达了他对在外洋购买制器之铁的忧虑，担忧外人掠夺在华的利益，也忧虑外人控制中国。当然，陈兰彬也深知中国铁矿丰富，自己开采当然好，但开发也存在许多困难，“中国著名产铁处所甚多，然皆深处内地，转运维艰，人烟稠密有碍，田园庐墓众集，工役易生事端” 《陈兰彬致朱学勤手札》，载《历史文献》第5辑，第171页。等等。陈兰彬左思右想，“未得善法”。
正在此时，刚卸任的台湾道黎兆棠（字召民）来到上海，两人详谈，令陈兰彬“深悉台湾多铁多煤，可以开厂鼓铸。其地滨海，转运固易，且多近生番地界，无碍民居，向本五方杂处，无虑奸民屯聚，就地有煤，又利鼓铸”。但是，“外人久已垂涎，若不早为经理，更恐他人捷足”。黎兆棠告诉陈兰彬，他在台工作时，“税务司荣雅国、葛德立、德璀琳及领事友雅芝皆劝其开采，且言英国本贫，后因开采铁煤遂臻富强，其处心积虑亦可想矣。有此自然之利，委而弃之，乃取资于外洋，是何异家有万金，扃之箧笥，不惜重利借贷于人，一旦大盗劫掠，既失其固有，仇家不贷，并绝其来源，尤为不堪设想”《陈兰彬致朱学勤手札》，载《历史文献》第5辑，第171-172页。。
听了黎兆棠的一席话，陈兰彬对办洋务作了长远的、深层次的思考。他立足于开发中国本土的资源，建设中国的制造业，既可不受制于外人，又可以发展中国的经济。他认为应该在台湾兴办制铁事业，“煤矿銕矿，中国大利，所有开采至为急务，而各省办理恐多梗阻，唯台湾悬隔海外，试办为宜”。 《大界曾氏五修族谱》（一），第362页。陈兰彬认为，统筹大局，此举似仍不可少，但未知督办之人怎样想？于是，陈兰彬写信给朱学勤，希望他代为转达意见，而陈兰彬也多次与曾国藩谈及此事。曾国藩与黎兆棠初未谋面，但“每言此事，未尝不叹其有体、有用、有肝胆”。
针对当时人们的一些疑惑，陈兰彬就开采台湾矿藏作了论证。第一，“疑开厂鼓铸，一切买机器、建房屋、给必薪水，费必不赀”。陈兰彬指出，“开厂之后铁必价廉，计一时之费则觉多，计长久之费反少，此费之不必较也”。第二，“疑开采之后外人攘臂而争”。他说：“洋人不能在不通商地方置田产，据约驳斥，断难狡赖。若因循不振，恐外人暗中占据，亡羊补牢，更多焦虑，此不待智者而知也。”第三，“疑前明矿厂百弊丛生，恐滋忧累”。陈兰彬指出，台湾开矿之地“地近生番，并无专主，况明之矿弊不在矿，而在开矿之人，若经理得人，断无扰害。人存政举，尤此事之至要者也”。那么，如何开办？陈兰彬提出如下的建议：
如果有意开办，（能调召民到京细陈更妥。）应先选督办之人，次则雇外国能看地脉者，察看某山苗旺，某处有煤，某处近水，择地既定，一面盖建房屋，一面往外洋购买开煤炼铁机器，并雇募外国工匠以开其先，俟中国人习熟，随时裁撤。 《陈兰彬致朱学勤手札》，载《历史文献》第5辑，第172页。
由此可见，陈兰彬办洋务时，经常考虑如何制器御外这一中心思想，既要学习西方的先进技术，也要充分利用中国的有利资源，使中国在发展中保持独立自主，不受外人的控制。陈兰彬在江南制造局任职期间，虽然以前没有制器之法的经验，但他仍然全身心投入，办理制造枪炮、水雷、弹药、火药、机器等实事，在具体工作中，增长了办洋务的知识和技能，也积累了办洋务的经验，更重要的是，他的洋务思想在升华，使他坚定地认识到中国必须向西方学习，中国必须引进西方的先进技术以达到自强，但中国又必须发挥中国的优势，逐渐走上富强独立之路。