在上海时，包玉刚已经是一个有一定地位的银行主管，他的一位姓潘的同事回忆说，包玉刚在那时被认为是相当重要的人物，而且十分有影响力。
早在一九四五年八月，包玉刚的妻子黄秀英就在重庆为他生下了第一个女儿，女儿生下尚未满月，包玉刚就奉命回到上海，黄秀英产后行动不便，留在重庆住了一段时间，但不久也坐军舰到了上海。那时候，军舰的设备是如此简陋，以致检查员看见黄秀英一个弱女子带着一个婴儿时，差一点就不让她们上船。值得庆幸的是黄秀英母女两人很快就安全地回到包玉刚的身边。包陪庆还记得二十世纪四十年代末他们家的情形，每当有人说她父亲能在当时动荡的局势下仍然过得很好时，她就会立即纠正他。陪庆回忆说，那时她家有一辆车，是银行提供给父亲用的；家里的二楼有一个舞厅，在那里，她的两个姑姑经常弹奏钢琴，让客人跳华尔兹；在客厅，佣人会端出很多好吃的东西来款待客人；每当听见车轮的响声，佣人们才允许她跑出去等父亲回来。陪庆还记得，他们住的房子相当大，等到几十年后包玉刚再回去造访时，发现有五个大的家庭住在里面。
在上海的那几年，包玉刚已进入了银行的管理阶层，生活上自然有所改善，但他并不是一个讲排场、喜铺张的人。不然，以他的身份，能享受的，当然不止上面那些。包玉刚不但作风朴实，而且与其他同事关系融洽并不以管理人士自居，同事们都觉得他是个容易相处、没有什么架子的人。
虽然事业上还算一帆风顺，但他耳闻目睹的种种现象，使充满爱国热忱的包玉刚感到无助和失望。当时，包玉刚的二女儿在上海出生，取名陪容，英文名Bessie，父亲包兆龙和弟弟包玉星都在上海，前者是抗战胜利后到沪的，在上海国丰造纸厂当经理，后者大学毕业，任职于上海四明银行，后转到新利进出口公司。这一家老老少少，总共有十几口人，包玉刚很担心，在这样的乱世，一家人到哪里寻觅一个安居乐业之所呢？
在一九四六年，国民党政府为平息上海的经济恐慌，起用了一位经济学博士吴国桢出任上海市市长，这位吴博士曾留学美国，据说对经济有深入研究和独到的见解。可惜，当时上海的财政金融已是病入膏肓，中国的金融政策就像是患了绝症，就算吴博士是再世华佗，也回天乏术了。而包玉刚在重庆时构思的多贷款、多赚钱的“初级银行学”现在也派不上用场了。包玉刚深感失望。
一九四八年，正值而立之年的包玉刚虽然深得当政要员的赏识，事业也一帆风顺，但是，他敏锐地察觉到，蒋家王朝已经到了风雨飘摇、朝不保夕的地步了。
于是，包玉刚下了决心离开上海滩，到别的地方闯天下。然而，天下之大，哪里才是理想之所呢？这时，包玉刚想起几年前经过的南方一个城市——香港。香港虽然并不大，但它是英国殖民地，不会受国内战乱的影响，而且它又是自由港，是商人们梦寐以求的天堂。对，就是香港！包玉刚下了决心，要到香港闯一番新天地。
一九四九年的新年假期里，包玉刚到香港逗留了两天，纯粹是为了公务，因为没有护照，他没法以合法的身份在香港居留，而他又不想成为全国各地拥来的难民。于是，他回到了上海，并向当时的上海市市长吴国桢提出辞呈。吴国桢非常欣赏包玉刚的才干，直到在三十多年之后，侨居美国的他与人谈起包玉刚当年辞职一事时，仍充满遗憾，并说包玉刚是他在上海市长任内提拔的最有才干的青年之一。
吴国桢曾一度挽留包玉刚，但包玉刚去意已决，吴国桢只好同意，并许诺可以让他二月底之前走。终于，在三月初，包玉刚在银行的帮助下买到机票，携妻秀英、女儿陪丽飞赴香港，开始他人生的另一次辉煌。所以说人生无常，关键在于寻找并把握住时机，才能有所作为。第1章初抵香港
包玉刚于一九四九年春天到达香港，早春的香港依然春寒料峭，阵雨绵绵。此时，寒冷和潮湿依然是这一块土地的主要特征。也许天气状况总是同人的心情有关，初到香港的包玉刚是为避难而来，而不是带着亿万资产来的。
虽然是第三次踏上这块作为英国殖民地的土地，但这里的一切依然是那么的陌生。
在成为英国殖民地的近百年时间里，对外贸易一直是香港的命脉。在日本侵略者的铁蹄践踏中国秀丽河山的那些日子里，香港亦未能幸免，沦陷时间长达三年半。日本人投降后，香港商人迅速从蛰伏的状态中释放出来，恢复了活跃的贸易往来。
虽然同为商业、金融业发达的城市，当时的上海就要比香港显得繁荣，连街道也比香港的干净。
包玉刚突然有一种被流放的感觉。
在上海，自己虽然算不上什么银行家，但也是堂堂上海市银行的副总经理，是个有头有脸的人物，如今来到香港，未免觉得灰溜溜的。
一阵寒风吹过，包玉刚下意识地收紧一下脖子上的围巾，伸手轻轻揽住妻子。
黄秀英看上去很虚弱，一脸的倦容，紧紧依畏着丈夫。她的怀里，抱着出世不久的小女儿陪丽。
“秀英本应该在家里待着，好好休息才是，现在却要她跟着我逃难，这十几年来，她就这样跟着我，走南闯北。十几年了，我没能给她一个安定的家。”包玉刚想到这里，看着妻子苍白的脸，心头涌起一股歉意。
他伸手从妻子的怀里接过陪丽，这个才几个月的小生命并不知道世途难险，也不知道天寒地冻，睁着一双黑溜溜的大眼睛，看着这个陌生的世界。包玉刚怜爱地亲了一下女儿的额头，小陪丽忽然格格地笑起来，这纯真的笑容、清脆的笑声，霎时消去了包玉刚心头的阴霾。
香港启德机场聚满了从大陆来的人，他们当中，不乏曾显赫一时的官僚、商人或艺人，怀着一颗惶恐的心，带着金银细软，匆匆南逃。
“摩罗叉”（指印度士兵）指挥着从飞机上下来的人排成长队，领取移民护照，这些护照是统一由一个英国机构发出的。包玉刚夹杂在人群里，焦急地一步步往前挪，当他接过满是英文的护照时，他激动得挥舞双手。
领取这个殖民地护照可算是包玉刚第一次跟英国殖民地机构打交道，手续之简单、过程之顺利甚至有点出乎他的意料，但是，他很快就发现，要进入香港社会这个圈子并不像拿护照那么容易，而是要付出代价的。
到了一九四九年来，香港居民的人数骤然增加了一百五十万，在深水妙、石硖尾、鲤鱼门、西湾河、筲箕湾，西环、铜锣湾等地，到处都是逃难的人。幸亏包玉刚之父包兆龙有先见之明，在一九四九年难民潮还未形成之前，就携带家眷和小孩子先到了香港。并花了两万元的“顶手费”，在西摩道找到了一套一千多平方英尺（一平方英尺等于零点零九二九平方米，所以一千多平方英尺约合一百多平方米）的房子，月租四百五十港元。
那套房子的周围是香港一些名门望族的大厦，按当时的标准，每月四百五十元的租金并不算贵，因为租金是受政府控制的。但是由于一九四五年日本人撤走时，留给香港人的是大片大片的废墟，尽管战后香港经济恢复很快，但房子建得并不多。当那些在香港沦陷时逃到大陆的香港人回到香港后，能够找到一处地方，哪怕是很多家人挤在一起，也算是件幸运的事情。很多人只能睡在街上、楼梯底、走廊里，有些则搭起一些简陋的临时房屋，听凭台风、暴雨的摧打和火灾的威胁。因此，尽管政府一再三令五申按制收取租金，但严重的供需失衡使得房屋的租赁从明里转到暗里，明里业主和租户仍是按照政府规定的租金标准，而暗里，业主则收取租户的“顶手费”，且收费颇高。这种交易都是双方你情我愿的事情，政府也奈何不了。
包氏一家从上海带来一些积蓄，考虑到无论如何得先有个安身之所，便不惜拿出两万港元来作为“顶手费”租下了这套有三间房的单位。一家大小就居住在这儿，也总算有个家。
包兆龙来港前，把家里一切能变卖的东西都变卖了，换成现金或银两，数量是相当可观的，有数十万元。
但是，由于初来乍到，人地生疏，加上语言上的隔阂，包氏父子不敢贸然行事，时时处处小心谨慎。
生活上，包家则是能简则简。陪庆和陪容两姐妹新衣服也不多一件，做校服时，往往做大一个码，把裙脚折高一两寸，待长高后，再把裙脚放下来，鞋子同样也是买大一两寸，里面垫上几个鞋垫，以便步行时不致滑落。包陪容回忆此情景时说：“那些时候她几乎没怎么穿过新衣服，都是大姐包陪庆穿不下了替换给她的，而她穿衣服也特别小心爱惜，等不合身了替换下来给妹妹时，衣服仍不显破旧。虽然生活上是简朴了些，但父亲把我和姐姐送进了当时最好的学校。”包陪容每当回意起这段往事时，就流露出对父亲的无比敬爱。
到香港之后，包玉刚担负起一家老少的衣食住行，大事小事无一不让他操心。他买了一辆二手车，除了生活上方便一些，他还能为开展业务带来些方便。
“到香港已经这么长的时间了，”包玉刚想，如果再不考虑出路问题，这样下去，势必坐吃山空。如果去打份工，低微的收入怎能养活一家大小？自己一家怎么说也是做生意出身的，从大陆又带了些积蓄下来，还是找些买卖来做吧！
但是，做些什么生意好呢？
曾有一个外国记者形容包玉刚是一个“不允许其脚下的草长大的人”，说明他闲不住。
到香港安顿下来之后，便考虑应该做些什么生意。由于对香港周围环境还不太熟悉，包玉刚想驾轻就熟，干自己的老本行——银行业，但他很快发现，在香港，银行业除了被汇丰银行、渣打银行和大通银行这三大银行垄断外，余下部分已被广东人控制了，能够提供给他这样一位说话时带着浓重口音的宁波人的业务极其有限，况且，当地居民更愿意接受最原始的储蓄方式——收藏金器、珠宝和玉石等，而不是在银行里存钞票。