1951年9月，张大千带全家赶往南美洲。
促使张大千下定决心离开印度的，还有一个突发的事件。1950年秋冬之际，大吉岭一带发生了一次地震，地动山摇，一块重达两吨的巨石从山上滚落下来，差一点就砸到了他居住的那所房子。这使张大千意识到，大吉岭乃危险之地，不可久留。
而他选择南美，有几个理由，张大千对此解释道：
远去异国，一来可以避免不必要的应酬烦嚣，能于寂寞之颖，经营深思，多作几幅可以传世的画；再者，我可以将中国画介绍到西方。
中国画的深奥，西方人极不易了解，而近年来偶有中国画的展览，多嫌浮浅，并不能给外国人留下深刻的印象，更谈不上震惊西方人的观感！
中国的历史名迹，书画墨宝，近几十年来流传海外者甚多，我若能因便访求，虽不一定能合浦珠还，至少我也可以看看，以收观摩之效。且南美地广人稀，一切尚在待开发阶段，受到现代文明的污染最少。
张大千在赴南美之前，做出了一件令许多人大惑不解的事。他将自己视为大风堂藏画镇室之宝的《韩熙载夜宴图》《潇湘图》《武夷山放棹图》三幅古迹出售。而其中《韩熙载夜宴图》这幅价值连城的珍品仅卖20000美元。
了解他的人不解甚至震惊，张大千无论在多么困难的时候，也没有卖掉自己心爱的藏画，这次出于何意呢？
张大千离开香港之后，国家社会文化事业管理局局长郑振铎专程从北京来到香港，从张大千好友手里购得了这三幅传世之宝。这时人们似有所悟。
直到32年后的1983年，张大千逝世一个月后，《瞭望》上的一篇文章揭开了这个谜底：
20世纪50年代，大千先生先后把他珍藏的古画卖给国内，现在珍藏在北京故宫博物院。
这时真相终于大白，张大千以一种特有的方式将这三幅名画献给祖国，表现了一腔爱国之情。
张大千去南美途中路过日本，稍作停留，随后到达阿根廷。但就在此时，侄儿张心德却因病突然逝世，这对张大千是很大的打击。
张心德原是四哥张文修之子，因二哥张善孖无后，张大千将他与自己的儿子张心一过继给了二哥。张心德在子侄辈中最受八叔器重，他一直随张大千学画，在敦煌是八叔的重要助手。张大千认为他在后一辈中是最有绘画天才的，将来必成大器。
自二哥过世之后，张大千发誓永远照顾二哥的遗孤，因此更格外钟爱心德，视如亲生。孰料刚刚踏上南美，心德由于风寒诱发了原来的肺病，竟一病不起，不多久就病逝在这块陌生的土地上！
心德的死是张大千继二哥逝世后受到的又一沉重打击。他只觉五内俱焚，黯然神伤。这也是他以后长期滞留南美的重要原因。
1952年，一行人暂居阿根廷首都布宜诺斯艾利斯，租了一处带有大花园的住宅，张大千取名“呢燕楼”。
这里环境优美，风景秀丽。张大千心情渐安，心绪渐佳，他写诗道：
且喜移家深复深，长松拂日柳垂荫。
四时山色青家画，三叠泉声淡入琴。
客至正当新酿熟，花开笑倩老妻簪。
近来稚子还多事，黯绿篇章笑苦吟。
张大千由于不了解阿根廷的民俗风情，所以抱着观望的态度，因此把自己视为春来秋去的燕子，并没有在阿根廷长住的打算。
在这里，张大千举办了来到南美后的第一次画展。这位中国绘画大师的到达，轰动了整个阿根廷。阿根廷各大报纸电台纷纷报道，大街小巷也都流传着这位中国画家的传说，张大千这位美髯翁一时成了阿根廷的新闻人物。
1953年，张大千又举家前往巴西。在阿根廷居住期间，张大千结交了许多侨居巴西的华侨朋友，这些朋友都纷纷向他夸赞巴西的美，有些朋友也建议他到巴西居住。
张大千自己也说：“在阿根廷总是和一些黄头发、蓝眼睛的外国人打交道，而巴西华侨众多，我希望在异国他乡能多看到一些自己的同胞，多听到一些熟悉的乡音。而且我听人说，阿根廷的生活费是香港的2/3，巴西又只有阿根廷的2/3。带着这么一大家人，还是来巴西比较划算。”
张大千感觉圣保罗是一个由来自许多国家的许多民族组成的城市。有一天，当他登上位于市中心共和国广场边上的意大利大厦时，他久久地注视着市中心不远处的“东方区”。这里让他嗅到了故国的乡土味，感到了家乡人的亲切气氛。
青石板路的两边，挂着汉字或日文书写的店铺招牌和匾额，有中国风格的朱漆牌坊，来来往往都是黄皮肤黑眼睛的中国人，在这里根本不用翻译，就可以畅所欲言。
当时巴西正在吸引大批移民，共同开发。张大千住下之后，也到圣保罗郊外四处考察。一天中午，他和圣保罗餐馆的经理杨先生、圣保罗农场的虞兆兴、养鸡场的四川同乡李子章一道，来到小镇外的一个起伏的小山丘，走上一个地势平坦的坝子，忽然发现这里与四川一样栽着许多柿子树，就急切地询问当地人这个地方的名字。
当地人告诉他：“那个县叫‘蜀山落’。”
张大千不由心中一惊，嘴里不停地念叨着：“蜀山落，蜀山落，多么让人遐思的地名。四川古称三巴之地，绵阳古代叫巴西郡，而这个国家恰恰就叫巴西，这是巧合。”
他俯身抓了一把路边的泥土：啊！黑油油的沃土也与故乡四川的川西坝子一样。
张大千不可抑制地冲口而出：“我决定在此安家！”
同行的几个人都大吃一惊，餐馆经理杨先生赶紧提醒他说：“张先生，不行啊，你看，这里还没有通电，离圣保罗有半天路程。另找一个好些的地方吧！”
李子章和虞兆兴也极力劝阻。
张大千固执地说：“不，就在这里！我投荒南美，尚无立足之处，现在我决定了，就在这里安家，因为喜其似成都平原。”
张大千花了10000美元就在距离圣保罗75千米处买下了一个绿树成荫、溪流环抱的柿子林，大约有270亩，整片地都是密密麻麻的树林，另外还种了2000多株玫瑰花，是一个非常美丽的地方。这个地方原是意大利药房老板的，而恰好这个意大利人要回国定居急于出手。这真是一个绝佳的机会。
张大千后来了解到，这个小镇读音类似“摩诘”，于是他就干脆称为“摩诘镇”。
按照他的理解，是要建一座中国式的花园，除中国传统式样的房舍以外，还要有假山、池塘、松林、梅园、奇石、曲径、小亭，以及四季盛开不败的花草树木，“必故国所有者植之”。甚至还有不可或缺的各种盆景点缀。正如他在诗中所描述的：
废圃宽闲五百弓，十千廉买会衰翁。
疏泉种石通松鸣，筑室开轩面竹丛。
岁计全家收芋栗，生涯半世转萍蓬。
藤枝倚壁生芝菌，且闭柴门养蛰虫。
经过一段时间的建设，“五亭湖”挖成了，“潮音步”长廊修好了，一切全都齐备。
1953年，张大千把庭园命名为“八德园”，池名“八德池”。张大千为“八德”之名解释说：
“八德”之由，概取意于佛经中的“八德功水”。然吾之“八德园”，尚有余三种含义：一则遵照中国传统之“四维八德”，所谓“八德”者，乃“忠、孝、仁、爱、信、义、和、平”；二则因鄙人因柿安家，段成式《酉阳杂俎》曰：柿有七德，一长寿，二多阴，三无鸟巢，四无虫，五霜叶可玩，六嘉实，七落叶肥大可临书。
近来劳作之余，翻翻医书，才知柿叶煎水可治胃病，柿子树岂非具有八种功德？三则，余排行第八，晚辈皆呼“八叔”，学生称“八先生”，取名“八德”也有一番情趣。
“五亭湖”30余亩，张大千在其中养鱼种荷。但这里由于引不进活水，完全依赖老天帮助，久不下雨就会干涸。有一次居然3个月都没有下雨，张大千终日忧心忡忡，忽然这晚大雨滂沱，他不禁狂喜难抑，披衣起床，提笔一挥而成《喜雨图》，并题诗云：
三月晴干无好坏，抚筑日日觅花开。
夜来一雨缠绵甚，更有山樱怒破蕾。
“八德园”初创时，正是张大千最辛苦最勤奋的时期，筑园所借的钱要还，扩建工程也需要付给工人工资。
这个时期，张大千从精力旺盛的中年步入老年，他以“十目终能下一行”的精神，创作了大量山水、人物、花卉作品，其中8幅以四川资中县景色为题材，统称《四川资中八胜》，张大千对朋友说“为写资中八景，以慰羁情”，寄托了对故国之思。他还在《思乡图》中题字：
扁舟一棹，便有湖山之思。
乡愁！乡愁！这绵绵不尽的乡愁，伴随了张大千的一生！