甘格林不知烟土和赌场的利润有多大，他以为黄、杜、张三位不过是想少分一点给他，因此他便一口咬定，非得40万不可。但黄、杜、张三位每月从这两个行当中所得不过每人十万大洋而已，即使全部给甘格林，离他的要求还差十万。
谈判陷入了僵局，张啸林愤愤地说：“宁愿不开张了，也不让这个洋赤佬得逞。”
从此以后，张啸林开在福煦路181号的赌场便由往昔的车水马龙变成了今日的门可罗雀。黄金荣、杜月笙愈发对烟土和赌场这两个行当失去了信心。
1932年1月7日，国民党元老级人物吴铁城就任上海市市长兼淞沪警备司令。吴铁城在国民党内资格极老，早年追随孙中山从事革命工作，后又追随蒋介石。皇姑屯事件发生后，吴铁城曾奉命前往东北，斡旋于蒋介石与张学良之间，成功促使东北易帜。因此，国民党人当中几乎无人敢直呼吴铁城的名讳，多尊之为“铁老”。
上海市政府里的国民党新锐们大多瞧不起三大亨，认为他们是上海滩的毒瘤。杜月笙对此也心知肚明，张啸林则懵然不知，而黄金荣则一副无所谓的样子。但吴铁城非常赏识三大亨，尤其杜月笙，认为他年轻有为，堪当大任。更为重要的是，他看中了杜月笙在上海滩的势力，这对他管理偌大个上海有百利而无一害。于是，吴铁城经常和杜月笙见面，两人甚至建立了深厚的友谊。
当时，国民党内部有人公开批评吴铁城，说他不该和杜月笙过往甚密。吴铁城当即回答他说：“政通首重人和，杜月笙是上海地方上有势力的人士。我既奉命担任上海市长，跟地方有势力人士保持友谊，以重人和，有什么不对吗？”
当时，国民政府碍于舆论，每天都在喊禁绝烟毒。国民党一方面舍不得鸦片这块“大肥肉”，一方面也不得不顾忌舆论，便堂而皇之地宣布逐步戒烟，先实行“寓禁于征”的政策，即公开一切与鸦片有关的行当，但要课以重税。很明显，这不过是国民政府敛财的一种手段而已。
自从三大亨与甘格林的谈判陷入僵局之后，杜月笙就一直在想办法报复。杜月笙研究了国民政府所谓的“寓禁于征”政策之后，忽生一计。他找到吴铁城，把他们与甘格林的谈判之事如实说了出来。吴铁城说：“法国驻沪总领事和烟赌两界相持不下，这对双方来说都是很大的损失。”
杜月笙点了点头，笑着说：“我想借铁老之力，收容收容我在法租界那帮靠鸦片生意为生的朋友。我也好趁机给甘格林来一记‘断魂枪’。”
吴铁城是何等聪明之人，马上明白了杜月笙的意思。他暗暗在心中盘算了一下，如果杜月笙在法租界那帮开烟土行和大烟馆的朋友全部迁到华界上来，上海市的财政收入肯定会增加一大截，而杜月笙等人也不用再给法租界当局所谓的“俸禄”了。此举可谓是两全之策。吴铁城当即回答杜月笙说：“这件事情好办，你去告诉你的那帮朋友，让他们把烟土行和大烟馆都迁到南市、闸北，每月照章纳税就行了。”
杜月笙心下大喜，甘格林怎么也不会想到他会来一招“断魂枪”。闸北和南市的的房租和地价都比法租界要便宜得多，而且距离租界并不算远，瘾君子们走两步就到了。各大烟土行和大烟馆的老板们很快就按照杜月笙的部署，将烟馆、土行全部迁了过去。
一时间，南市和闸北的里弄之中，土行和大烟馆密布，街巷两侧挂满了招徕顾客的招牌。有些烟馆为了赶时髦，甚至挂起了霓虹灯。赚到钱的老板们此后逐渐在两地大肆建设。南市和闸北这两处上海滩着名的贫民窟也渐现繁华。
甘格林本以为自己大权在握，一口咬定每月40万的“俸禄”不放，仍在那里等着杜月笙等人俯首归顺。但是他怎么也没有想到，杜月笙的一记“断魂枪”掩杀过来，土行和烟馆纷纷搬出了租界，他那40万的“俸禄”也成了泡影。
张啸林也急得大骂杜月笙。土行和烟馆迁出租界，单凭租界内的几家赌场，要想满足甘格林每月40万和其他大小头目每月12万的“俸禄”，无论如何也是办不到的。他在福煦路181号的豪华赌场仍有巡捕房的人在监守，不但开不了张，就连里面里面的豪华设备也无法拍卖。
福煦路181号地豪华大宅每月的房租便要纹银4000两，再加上一时遣散不了的员工，张啸林急得像热锅上的蚂蚁。就在这时，张宗昌派了一名代表到上海来，当面向张啸林提出邀请，让他去大连发展。当时，辽东半岛在日本帝国主义的占领之下，张宗昌等大军阀兵败后便纷纷避难大连，希望借助日本人的势力东山再起。
张宗昌派人来邀，张啸林受宠若惊，大为兴奋。但张宗昌毕竟与蒋介石等人有仇，他不敢将这桩机密大事在公开场合说出来，就连杜月笙也瞒了起来。不久，张啸林便带着几位老朋友，如翁左青、金少山等人，瞒着杜月笙，悄悄去了天津，准备和张宗昌会合。
杜月笙事后得到了消息，他急忙派人火速去追赶张啸林等人。但此时，张啸林已在天津。杜月笙深知张宗昌已经没有机会东山再起了，国民党虽然派系林立，各军阀之间尔虞我诈，但要打败这个已然成气候的中华民国第一大党，再也没有希望了。从此，杜月笙与张啸林已经不仅仅是分道扬镳那么简单了，他们简直成了仇人。张啸林的出走天津也为日后杜月笙暗中派人取他性命埋下了隐患。
三、弟子募捐，建黄家花园
黄金荣退休之后，费尽心思地扳倒了沈德福，当上了巡捕房的幕后老板，但费沃里和范尓迪一旦离开，他在巡捕房的势力受到了很大的影响。黄金荣便不再去操那些闲心了，他已经功成名就，家财万贯了，索性就安心颐养天年好了。一闲下来，黄金荣又觉得心慌。于是，他又开始大张旗鼓地招收门生了。黄金荣自从在聚宝兴开过香堂之后，收徒弟再也不举行仪式了，只要写张门生帖子递上去，再“孝敬孝敬”点钱财就可以了。黄金荣是一个讲究实利的主，只要有人送礼来拜师，他是来者不拒，多多益善。因此，他的门生在鼎盛时期曾达3000余人。
在这些人当中既有工商巨子，也有街头上的流氓瘪三；既有风度翩翩的读书人，也有大字不识的苦力；既有军政界的要员，也有舞台上扮演各色人等的演员。当时着名演员常春恒最初在帮会头目顾竹轩所开的天蟾舞台演出，因顾竹轩不愿意增加包银，常春恒便改投到顾竹轩的对头丹桂舞台去了。
顾竹轩是盐城人，凭着一双拳头在上海滩打出了一片天地。当时苏北在上海混营生的人多达百万，利用老乡的这层关系，顾竹轩笼络了近万名黄包车夫，组成了一个庞大的帮会。顾竹轩崛起之初，黄金荣和杜月笙都不得不对他刮目相看。像顾竹轩这种帮会的大流氓头子，岂会吃这种哑巴亏呢！结果，顾竹轩就派人在丹桂舞台的门口把常春恒打死了。常春恒出事之后，梨289园子弟人人自危，周信芳、吴玉荪等着名演员纷纷拜在了黄金荣的门下，以寻求保护。
黄金荣的势力虽然没有受到多少影响，但财路不可避免地断了许多。少了一份可观的俸禄不说，重要的是少了黄、烟、赌等各行各业的保护费。事实上，黄金荣此时的经济实力已经不小了，可谓上海滩最富有的人之一，他拥有四五家戏院、两三座浴室，均培里、源成里等数十处房产，在苏州还有数百亩良田，光是每个月所收的租金便是一笔可观的数目。但黄金荣素来爱财，尤其是退休之后，他把钱看得更重了，无论大钱小钱，只要能弄到手的，绝不放过。
1928年，张啸林斥巨资在杭州西湖湖畔购置地皮，建造别墅与饭店。1930年夏季，张啸林在西湖边上的别墅与“天然饭店”已经全部装修竣工，一应家具等生活用品也已购置齐全。张啸林带着妻子娄丽琴和一帮心腹，上演了一出衣锦还乡的好戏，轰动了整个杭州城。
杜月笙在次年夏季也上演了一场衣锦还乡，而且规模更盛，场面更加宏大。14岁的杜月笙在离开高桥老家，到上海闯荡之时，曾对着外婆哭吼道：“我将来回来，一定要一身光鲜，一家风光！我要起家业，开祠堂！不然，我永远也不踏进这块血地！”为了实现离开高桥镇时所说的这句誓言，杜月笙平日里虽然花钱如流水，但他还是在1930年之时挤出了一笔款项，在祖宅杜家花园附近购买了50余亩土地，招徕名师巨匠，建起了祠堂。
1931年夏，杜家祠堂落成。祠堂是五开间的门面，凡三进，头进是轿马厅，二进大厅，三进是飨堂。大门左右各摆放一只栩栩如生的石狮子。祠堂内更是雕龙画凤，美轮美奂。
各地社会名流得知杜月笙要开祠堂，纷纷送来贺礼。从5月开始，匾、联、屏、古董，乃至礼券现金等便纷纷从四面八方涌进杜公馆。蒋介石派人送来了一块“孝思不匮”的匾，并撰文称颂道：“诗咏祀事，典备蒸尝，水源木本，礼意綦详。敬宗收族，德在无忘，激彼秕秉，俗兹彛常。元凯之家，清芬世守，孝孙有庆，服先食旧。任侠好义，声驰遐迩，济众博施，号为杜母。肯堂肯构，实大其宗，爰建新祠，轮奂有容。簋簠既饬，锵济攸从，式瞻枚实，介福弥隆。”除此之外，北洋政府原总统徐世昌、北洋政府临时执政段祺瑞、陆海空军副总司令张学良、实业部长孔祥熙、西藏班禅喇嘛等军政要员和社会名流无不送来了匾额，大颂其德。
黄金荣也没有闲着，他在漕河泾镇修建了一座规模更为庞大的黄家花园。但与杜、张两位不同的是，黄金荣修建黄家花园不但没有花一分钱，还赚了不少。大兴土木、搞工程建设是黄金荣敛财的手段之一。每到此时，他都会向门生广发请帖，表面上是请大家共同商议，实际上则是要他们集资。
黄金荣父母的合葬墓位于上海南郊的漕河泾镇，黄金荣发迹之后曾在此处修建了一座黄家祠堂。祠堂的规模不大，周围是一片良田。由于疏于打理，祠堂的周围长满了野草，看上去十分荒凉。1931年清明节，黄金荣带着李志清和养子黄源焘等到郊外为父母扫墓。看到父母安息在荒草丛中，黄金荣的心里很不是滋味。几个心腹一下子便猜中了他的心思，趁机建议说：
“爷叔，祠堂该修一修了。”
黄金荣点了点头，若有所思地回答说：“是该好好修一修了！”
其实，黄金荣早就有这个打算了，只是他不想修一修就了事，既然要修，索性就大兴土木，建造一个规模宏大的花园。当黄金荣把这个想法跟身边的几个心腹一说，大家纷纷表示：“还是爷叔想得周到，也唯有修建一处花园才能彰显爷叔的身份。”
当天，黄金荣就吩咐几个心腹去实地勘察，把周围的地都买下来。黄金荣回到均培里的第三天，几个心腹便带着一大堆文件来了。土地的事情已经解决了，他们把黄家祠堂周围60亩的土地全部买了下来。
黄金荣高兴得合不拢嘴，当即便打电话把杜月笙、张啸林和金廷荪等人叫到了均培里。等他把建造黄家花园的意思一说，杜月笙等人便知道又要拿出一笔钱来孝敬老头子了，但又只能表示同意。具体的建造方案确定下来之后，筹款与指挥建造的事情便由唐嘉鹏与冯志明两人负责。唐嘉鹏和冯志明边打着黄金荣的旗号在黄门子弟中募捐。黄门弟子迫于无奈，不得不做出一副慷慨解囊的样子来。杜月笙捐了5000大洋，金廷荪捐了4500大洋，张啸林捐了4000大洋，其他弟子少则三四十元，多则上千元。修建黄家花园的经费很快就募足了，总额竟达353万元。这笔钱在当时来说，绝对算得上是巨291款，毫不夸张地说，几乎可以买下一座中等县城了。直到黄家花园完工并购置了大量精美的家具之后，这笔款子尚余几万元。
黄家花园当年动工，当年年底便落成了。验收合格后，黄金荣亲自带着一帮人马，前来视察参观。黄家花园占地60亩，气势非同一般。正门朝南，两扇朱漆大门上方挂着一方匾额，上书“黄家花园”四个大字。门楼呈三开间房式，泥鳅脊背的屋顶上覆盖着筒瓦，檐下是清一色的白色墙壁，门前是雪白的汉白玉石阶，石阶前则是由虎皮石砌成的开阔地。
进门后沿路北行，便来到黄家花园中央的“四教厅”。首先映入眼帘的是“四教厅”右边的六角亭，亭中石板上刻着蒋介石所题写的“文行忠信”四个大字，“四教厅”由此得名。四教厅是一座仿寺院大雄宝殿式的中国传统建筑，厅前陈列着一堂樊石八仙，厅内当中供着福禄寿三星，两旁列着十二把大红木椅，四壁上则挂着黎元洪、徐世昌、曹锟等人题写的匾额。
四教厅后面是一座西洋式的二层楼房，共有12个房间，它的四周有独立的围墙，将其围成了一个小庭院，专供黄金荣夏日避暑享用。以四教厅为中心，四面分布着各具特色的亭台庙堂，包括关帝庙、观音庙，并建有假山与水塘，园内种植了成千上万株名贵花草树木，其中有上千株桂花，有金桂、银桂、丹桂、四季桂，并特地从浙江花高价购置了一株名贵的天竺桂。
黄金荣为什么对桂花情有独钟呢？自从为了露兰春和吕美玉相继跌霸之后，黄金荣才发觉只有林桂生对自己才是真心的，只有她才能帮助自己在事业上飞黄腾达。与林桂生离婚之后，他曾多次想将其请回黄公馆，但他深知林桂生的脾气，不敢贸然行动。以林桂生的脾气，两人想要复合，简直就是天方夜谭。无奈之下，黄金荣只好用桂花树来寄托对桂生姐的思念了。
黄家花园落成典礼
1931年11月18日，黄家花园举行了隆重的落成仪式，各界人士纷纷前往祝贺。此次落成典礼，张啸林担任大总管，调度一切事务；杜月笙则担任总招待，招待各路来宾。应邀前来的，有国民党的军政要员和各处巡捕房的头脑们。黄金荣的徒子徒孙们也从各处纷纷涌来，向老头子表示祝贺。蒋介石也匆匆露了一面，给足了黄金荣面子。
开宴之前，张啸林代表黄金荣致了词：“本花园之落成，愿望本人晚年避嚣颐养之所，草草工竣，未臻完美。多蒙在做诸位关注备至，并亲自光临，身为感谢。更蒙蒋总裁在戎马倥偬中莅临是会，实为本人之万幸！兹值国家多事之秋，不敢过于铺张，有慢及此，备有薄延，聊尽本人东道之谊。”
张啸林读罢落成词之后，鼓乐齐鸣，在执行人员的指引下，众多宾客一齐分档入席。宴会结束之后，大厅上便唱起了堂会。南北名伶齐聚一堂，黄金荣看着眼前的一切，乐不可支。
黄家花园建成之后，为黄门弟子聚会议事提供了一个很好的去处。几乎每个星期日，黄门弟子都会不邀而集。每到农历正月十三、五月十三和九月十三，黄门弟子更是要各出十块钱到漕河泾黄家园聚会，中午就在那里聚餐，游玩到下午三四点钟才尽兴而散。
黄家花园还成了三大亨招待国民党军政大员的一个好去处。1937年3月，孔祥熙作为中国特使率团出席英皇加冕仪式，黄金荣、杜月笙和张啸林等人便在黄家花园设宴招待了中国特使团一行。黄金荣本人则通常在立夏之后才搬到花园里居住，等到天气转凉，再搬回均培里黄公馆。