伍秉鉴驰骋商场多年，以他修炼的独门功夫，最终在黑白两道的夹缝里，在民族经济与西方经济的夹缝里，在外商与大清国的夹缝里，踢打出了属于自己的一个世界、一方天地。但遗憾的是，在他一步步走向事业顶峰的时候，也走入了“高处不胜寒”的险境。伍秉鉴太成功了，成功到为当时的社会与政治所不容的地步，再加上伍家事业末期时局的重大变化，伍秉鉴成为了政治斗争的牺牲品，最终走上了一条“不归路”。可以说，从伍秉鉴的身上，折射出了中国封建社会的蜕变与涅盘。也许从行商制度产生的那一刻起，就决定了这位巨富必定会有高潮处风云陡转、繁华散尽的这一天。
不堪重负的巨额战争赔款
马克思在《资本论》中说：“有30%的利润，谋利者就会去冒险，有100%的利润，就会不顾一切；有300%的利润，就可能去杀人。”行商深知：“苛政猛于虎”，但最终还是抵制不了利润的诱惑，做了清王朝衰落的殉葬品。
因为在封建社会中，皇权高于一切，只有借助于皇权，走官商结合之路才能把商业做大，成功的商人莫不如此。但皇家给予商人特权，并不是为了支持商业，而是为了借商敛财或借商巩固自己的统治。再加上，根深蒂固的重本轻商思想和对富商的敌视，注定了封建统治者最终要用权力限制、打击商人。
清代行商们的经营活动从一开始就受到了清王朝的严格管制，没有独立经营的自由，无论是经营的规模、品种，还是商品价格均由官府限定，未经其允准，行商不得更改调整，即使条件发生了重大变化或出现了亏损时也是如此。
行商们虽然能享受官府限制范围内的种种特权，获得了超额商业利润，但也必须承担种种特殊苛刻的义务，受到了官府的严厉管束与贪婪压榨，最后都免不了破产的命运。
以伍秉鉴为代表的广州十三行走向没落，一是因为官商勾结的后遗症，鸦片战争后承担大量的清朝赔款，利润进一步压榨殆尽；二是“一口通商”改“五口通商”后，垄断地位消失；三是因受外商高利贷盘剥而欠债，因承揽的大量英国纺织品滞销而亏本欠债，在与英国散商的不等价交换中受勒索而举债。
英国人通过《广州合约》获得巨额赔款，但是他们很快就对此不满足了，不久撕毁合约，继续进犯。英军主力相继攻陷厦门、定海、镇海、宁波、乍浦、吴淞、上海、镇江，并准备进攻南京。
道光这位朝令夕改的皇帝，却骇破了胆，六神无主，仓皇失措，匆匆遣旨同意签署和约。清政府派出首席谈判代表琦善在泊于南京下关江面的英军旗舰康华丽号（亦译作皋华丽号）上与英国签署《江宁条约》，又称《中英南京条约》。
《中英南京条约》共13款，主要内容是：
五口通商。清朝政府开放广州、厦门、福州、宁波、上海等五处为通商口岸，准许英国派驻领事，准许英商及其家属自由居住。
割地。清朝政府将香港岛割让给英国。
中国海关税应与英国商定。
废除公行制度，准许英商与华商自由贸易。
赔款。清政府向英国赔款2100万银元，其中600万银元赔偿被焚鸦片，1200万银元赔偿英国军费，300万银元偿还商人债务。其款分4年交纳清楚，倘未能按期交足，则酌定每年百元应加利息5银元。
乾隆和马戈尔尼大概都没有想到，47年前在酒席宴上没有达成的协议，却变成了47年后枪林弹雨中的城下之盟，而且英国军队用坚船大炮都加倍地得到了，更让中国人心里不平衡的是，英军仅仅出动了4000名士兵就打败了清朝百十万人马。
清政府对此条约有何反应呢？道光皇帝在老皇帝乾隆身边度过童年，继承了祖父对世界的看法：中国也许会遭遇困境，却是世界上唯一文明的社会，周围都是只关注蝇头小利的蛮夷，这些蛮夷冥顽不化、令人生厌。
或许乐观的性格已经在他身上根深蒂固。当他看到条约中的这几项内容后，并没有气急败坏，也没有觉得对不起列祖列宗，而是心满意足地自言道：琦善这个首席谈判代表太了不起了，这么几个条款就把那么多总兵打都打不走的英国人送走了。于是道光即刻下令，林则徐退休，琦善封赏。
为什么道光皇帝觉得很满意呢？香港虽为弹丸之地，但那毕竟是老祖宗开创出来的江山社稷，比道光龙袍上的补丁不知要大几千万倍！道光帝平时连磨出了洞打了补丁的一件衣服都舍不得扔的人，为什么反而在割地赔款上就出奇的大方慷慨起来了呢？
在他看来，英国人要的香港岛只不过是一个从来没听说过的不毛之地，大清国疆土辽阔，这一小小要求算得了什么？想要，尽管拿去用好了。
但令世人没有想到的是，自从这位皇帝开了割地赔款的先例之后，以后的继位者纷纷效仿，甚至有过之而无不及，后来慈禧“量中华之物力，结与国之欢心”的口号无不让列强弹冠相庆。
赔款也没什么大不了的，虽然此时的清政府国库存银仅不到700万两，但是有广州十三行顶着呢，“广东之富扬名于天下”，十三行的老板个个身家都上千万两白银。1843年春天，广东官府传令行商伍绍荣等人，要求追索300万银元，限全体行商六日内全数交清，十三行便首当其冲地成为了清政府的榨取对象。当年连新衣服都舍不得穿、冰糖肘子都舍不得吃的道光皇帝面对如此巨额的赔款反倒不觉得心疼了。
赔款谁都不愿意赔，但又不得不赔。所谓文人死谏，武人死战，商人死难，伍家由于与英国鸦片商人有着千丝万缕的联系，他曾遭到林则徐多次训斥和惩戒，不得不一次次向清政府献出巨额财富以求得短暂的安宁，一人就承担了100万银元，行商公所认缴134万银元，其他行商摊派66万银元。如此巨额战争赔款成为压在行商肩上的沉重负担，就连两广总督卢坤也不得不承认：“疲行歇业，众商代为摊赔，每至殷商亦转为疲乏，在众商实害切剥肤。”
得到好处的英军自此更加一发不可收拾，先后又逼迫软弱的清政府签订了一系列不平等条约，其他列强见英国轻而易举地获得了如此之多的好处，心里直痒痒，美国、法国等后来者也学习英国逼迫清政府分别签订了中美《望厦条约》和中法《黄浦条约》等丧权辱国的不平等条约，强行要求割地赔款。十三行一次次首当其冲地成为了清政府的压榨对象，一次次被迫就地筹款做战争赔款，令行商不堪重负。
随后，欧洲帝国葡萄牙、西班牙、荷兰、丹麦等，“一些中国曾经听说过，或从没有听说过的弹丸小国，在过去就是前来进贡也不够资格的，现在排队而来。”（柏杨的《中国人史纲》下卷），已成惊弓之鸟的清政府急忙跟他们签订条约，允许他们享有特权。
在清政府的压榨下，许多行商不堪重负，中国政府为了能长期从行商身上榨取油水，不愿意看到更多的洋行破产，东印度公司与洋商领袖伍秉鉴又都愿意对其他行商加以极力扶持之下，使得这些周转不灵的洋商得以苟延残喘，但整个洋行界的普遍困难却也展露无遗。
从行商存在的时间长短来看，1760年以前既已存在的10行在1760年后，平均各继续了255年；维持到1843年的10行平均各存在了267年。此外的27行则平均只各存在12年。若从这27家洋行各自的最后一任行商营业的时间来看，平均则只有95年。以上这些数字多少说明了洋行与行商均难维持相当长时间的营业，行商中不断有人陷于困境，有的艰苦辗转于破产和死亡线上，连老家的产业也被抄光一空，本人或坐班房，或发配伊犁。
后来，随着清政府一步步的丧权辱国，列强侵略的加剧，赔款的增大，即便作为十三行老大的伍秉鉴也越来越感到力不从心，积聚的财富渐渐消失殆尽。他曾喁喁自言：“我辈乃世代经商之人，十三行仰仗官府恩荫之时，也饱受官府盘剥，这其间的痛楚与谁能言！”当然，更重要的是，伍秉鉴其实一辈子做了不少慈善家分内的事，但世人却并未因此记住他的名字，反而背负了勾结外国人发国难财的罪名。
粤海关的腐败与压榨
沉重的战争赔款已经把行商压得喘不过气来，但他们还要忍受腐败的粤海关监督的敲诈勒索。这也是导致行商走向破产的原因之一。
行商结交官员起初只是一种生存智慧，他们在长期经营活动中，十分善于用金钱贿赂官员、结交权贵，从而谋求种种经营特权，这是他们的拿手好戏。以至于发展到后期，商号的成败直接取决于是否买通有关官员、买通了哪个官员，甚至有的行商甘愿充当官僚的工具，把自己的命运与清王朝及各级官僚联系在一起，迅速致富。虽然结托封建政府是行商暴富的一条捷径，但又是行商走向衰败的一个重要原因，经历了一条追求特权、由发展捷径到最终被拖垮的命运曲线。
由于当时腐败的清政府不重视海关的建设，结果海关成为贪官污吏的一个肥缺。那时，商人为了取得准许经营对外贸易的“领贴”（也就是许可证），要缴纳一大笔费用。这笔费用，动辄几万、十几万，甚至几十万，这些银两都中饱了官吏的私囊。
马士是清朝年间来华的美国人，到中国后长期在清政府海关部门服务，他参与了许多机密工作，后来根据掌握的大量第一手资料写成了《中华帝国对外关系史》一书。
在此书中，马士提到：“典型的，也是最肥的关务官职就是广州的粤海关监督，掌管广东沿海各口和珠江三角洲的航运及征税事宜。”有不少官员眼红此差，朝廷也很重视官员的选派，多以满族亲贵充任。他们一到岗都竭尽搜刮之能事，榨取帝国中最富饶市场的商业。有人讽刺说“他任内第一年的净利是用来得官，第二年的用来保官，第三年的用来辞官和充实自己的宦囊。”
由于如果按朝廷颁布的税则去征税，粤海关大大小小的关吏就无法发大财，不但捞不到银子去买官儿，甚至连过去买官的银子都收不回来。所以，粤海关大小关吏们都成了歪嘴和尚，一心一意要把经往歪处念，以各种各样的名义对行商敲诈勒索，根本不把朝廷抄家、充军边陲和砍头的纪律放在眼里。
其常用的敲诈勒索的手段有：
一是借征收税饷及“规礼”名目敲诈勒索。广州一口通商以来，广州的关税上升很快，1757-1761年的五年里，关税征收1846155两白银；1802-1806年则征收8178153两。此后，贸易总值基本呈上升状态，几次超过5000万两。
除了借征收税饷之名敲诈勒索外，粤海关监督利用手中掌握的权力，勒索行商，谋取私利，这在所谓的“规礼”问题上得到了淋漓尽致的表现。
一份乾隆二十四年粤海关征收洋船进出口各项“规礼”包括了丈量、通事、管事、库房、稿房等等，名目繁多。又如乾隆元年海关正税是4万多两白银，而当年各项“规礼”就达10多万两，远远超过正税的数额。
二是借捐款赈灾的名义敲诈勒索。每当听说广州有什么公共建筑开工，全国各地发生旱灾、水涝、虫灾，行商们就心惊肉跳，他们知道捐款的通知马上就到，数目不小，有时一次要拿出几十万两的银子，行商们往往是辛苦多少年，一下子又回到贫穷的从前。
像十三行的老大怡和行不但每月要给顶头上司——海关的官吏开固定的饷钱，甚至还要办一次事塞一次红包。
据亨特记载：“政府常常向他们勒索巨款，迫使捐献，例如为了公共建筑、救灾、江河决口等等。有时见到浩官，我们谈起天来，‘浩官，今天有消息吗？’‘坏消息太多了！黄河又闹大水了。’他说。这当然不是好兆头。‘官大人来看你了吗？’‘没有，但他派人送了一封札子来。他明天来。让我拿出20万块洋钱。’这显然仍是老一套怨言，又是‘勒索’，而且这次数目大得惊人。”
据统计从1801-1943年，伍家以各种名目捐出共计12项，达160多万两。梁嘉彬《广州十三行考》记载：“（怡和行）1813年（嘉庆十八年）捐输银5万两。1817年（嘉庆二十二年），捐输16万两。1841年（道光二十一年），缴纳赔偿英军费百万，其余捐输黄河工费等款，不可胜记。”
然而粤海关监督在上报朝廷时却将他们的敲诈勒索说成是行商“出于至诚”“情愿捐输”，其实行商颇有怨言，甚至与海关监督发生正面冲突。
1801年，北京永定河发生水灾，佶山以赈灾为由要行商捐银25万两。按比例，潘有度只需分摊捐银5万两，而佶山却以抄家要挟，强令潘有度再单独捐50万两。潘有度只肯捐出10万两。佶山恼羞成怒，给皇上写奏折诬告潘有度。在各方压力之下，佶山不得不派人半途把奏折追回。
三是见哪位行商近来身上有了油水就明目张胆敲诈勒索。马士说：“每一处海关里的办事人员继续进行要索并且收受为了使事情办得快些而致送的小费。为了办得迅速就要支付小费，那么，稍进一步要使虚报货物获得通过而不被查问也只要花钱就行，这样，不必跨很大的一步就会直接走私了。”
四是制定所谓的禁令进行敲诈勒索。粤海关监督为了从行商潘振承等人身上索取一笔，于1782年，重申限制生丝出口禁令，规定每艘外船运出生丝不得超过100担。潘为了能继续维持对外生丝贸易，只得向海关监督行贿4000两白银。
无论是中国商人，还是外国商人，都意识到粤海关是“没有钱办不成事”的衙门时，海关的性质就已经发生了变化了，它不仅不能成为国家的门户，反而成了社会的蠹虫，招致行商纷纷破产。据统计，1757年一口通商时行商开业家数有26家，过5年时间后的1801年仅有8家开业，其他全部破产倒闭。
对外贸易垄断地位被打破
除了战争赔款和粤海关的腐败与敲诈，促使十三行行商走向衰落的另一个原因则是对外贸易垄断地位被打破。
伍家父子以及十三行的所有行商都不希望中外之间发生尖锐的矛盾甚至战争，他们更不希望后来中国在鸦片战争中失败。为什么？因为他们可以凭借十三行在对外贸易中的垄断地位获得高额利润，然而鸦片战争的失败，不仅战后赔款让他们苦不堪言，更致命的是他们独览中国对外贸易的特权被废除，洋人断了他们的财路。