随着封建王朝的日益腐败和帝国主义的加紧入侵，中国人民陷入了更深重的苦难，徐悲鸿全家的生活也越来越艰难了。徐达章无奈，流着眼泪卖掉了两亩瓜田。虽然暂时渡过了难关，使嗷嗷待哺的弟妹幸免于饥饿，但以后怎么办？
徐达章走村串巷，为人写条幅、画牌匾，挣些零用钱用以维持生计。有时，他也为死者画遗像和棺材。一直干到日落西山，他才拖着疲惫的身子回到家里。
可是，徐达章的日益奔波劳作，并没有使全家摆脱贫困。一家人常常是吃了上顿没下顿，母亲望着空空的米篓暗暗流泪。
面对生活的窘境，年少的悲鸿过早地成熟了，他不止一次地想：我都长大了，能帮父亲做些什么呢？只能是帮这个家做些力所能及的事，替母亲干些家务活，以维持这个日益窘迫的家了。
自己的家庭日益贫困，自己根本就上不起学。唯有更加努力地学画，这样最起码也可以像父亲那样偶尔出去为人画一画遗像什么的，补贴家用。
徐悲鸿的画进步很快，他经常独立构思一些草图，让父亲指导。父亲望着悲鸿的画沉思着，他好像预感到儿子会超过他，成为一个出色的画家。
徐悲鸿喜欢画马，以至于到了忘我的程度。为了把马画得逼真、出神，他常常在马厩里一蹲就是几个小时，直至母亲喊了几遍，才一步三回头地回家吃饭。
有时，为了画好奔跑的马，他跟在奔跑的马匹或马车后面，一跑就是几里地。
有一天，他只顾观看奔跑中的马，竟忘记了脚下高低不平的路，一下子跌倒了，重重地摔了一跤，手和腿都磨掉了一层皮，鼻血流到了衣服上，可他一声没哭，爬起来继续追赶跑远了的马。
徐悲鸿画马已到了出神入化的境地。他在睡觉的地方，挂上了各式各样自己画的马：奔跑的马、吃草的马、睡觉的马、饮水的马、单马、双马、群马等。在他的笔下，马有了生命，有了感情。很多乡邻都求他画马，他从不拒绝别人。
除此之外，悲鸿还画其他动物，如牛、虎等。有一次，父亲拿起他画的一幅老虎，赞赏道：“不错，已经超过我了。颜料钱没白花。”
父亲的话，使徐悲鸿想起了小时候画虎的事，让他感觉到格外的高兴。
雨季来临了。豆大的雨点倾泻而下，砸在地上，砸在屋顶，砸在人们的心头。轰隆隆的雷声在半空炸响，道道闪电划破漫长的黑夜。屺亭桥镇的人们，冒雨到神庙里祈祷，希望老天爷再也不要下雨了，还人间一个晴朗的天空。然而，苍天拒绝了人们的祈祷。
奔腾而混浊的河水终于冲出了河岸，发怒似的涌到墙角边、窗户上、屋檐上，屺亭桥镇被淹没在一片汪洋大水中。人们扶老携幼地逃奔到远方去。
然而，当洪水退去，人们再回到屺亭桥镇时，饥饿和寒冷又在威胁着他们。徐达章想继续在镇上卖画是完全不可能了，人们已请不起人画像、写匾了。
徐达章几乎到了失业的地步，整天待在家里，望着露天的草棚唉声叹气。无力的母亲除了流泪，还能做些什么呢？
生活的无奈，使得徐达章不得不作外出谋生的决定。这一年，徐悲鸿刚满13岁，便和父亲开始了流浪江湖的卖画生涯。
他们沿着太湖走去。美丽的太湖像一位少女，吸引着多情的人们。远远望去，碧波万顷，水天相连，晨雾缭绕，白帆点点，恰似一幅人工点缀的山水画，让人赞叹不已，流连忘返。
太湖一带原是鱼米之乡，但由于天灾人祸，也和其他地方一样，富者越富，贫者越贫了。徐悲鸿和父亲沿途给人画肖像、山水、花卉、动物屏条，刻图章、写春联等，有时住在淳朴的农民家里，有时住在小客店或寺庙里。
在乡村揽活越来越难，徐悲鸿和父亲只好到无锡去寻找出路。不久，他们来到了太湖之滨的无锡。
无锡是一座繁华的城市。自从清王朝和八国联军签订不平等条约以后，无锡就成了对外门户之一，中外商家云集于此，使得这座江南小城更加受人青睐。
徐悲鸿和父亲到了陌生的无锡，他们看到商店里摆满了五光十色的洋货。从日用品的瓷器和丝绸，从儿童玩具到火柴、灯油，无一不是外来品。
老板给它们贴上“价廉物美”的广告，招徕顾客。悲鸿在这里看到了关税不能自主、外国商品倾销和帝国主义抢夺市场的缩影。而威风凛凛的衙门，却在狰狞地看着成群的衣衫褴褛的乞丐。
这天，徐悲鸿随父亲徐达章穿过闹市稠密的人流，转入一条较为僻静的小街，找到一家小客店落脚。
一对卖唱的父女尾随他们，走了进来。姑娘梳着一条乌黑闪亮的发辫，苍白的面庞，眉清目秀，一对水汪汪的眼睛闪着哀怨的光芒。姑娘的父亲穿一件褪了色的蓝布袍，腋下夹一把胡琴，风尘满面，两鬓如霜。
他双手抱拳，打了一个拱，向小客店的旅人们说：“诸位贵客，感谢你们的赏光，小女为你们演唱一首江南小调，望有钱的捧个钱场，没钱的捧个人场，谢谢！”
于是，那悠悠扬扬的琴声便在这寂寞的小客店里飘荡起来。姑娘唱起了江南民歌中抒情的小调：
月亮弯弯影儿长，
流浪的人儿想家乡。
村前池水鱼儿乐，
屋后瓜架豆花香。
天上云多月不明，
地上山多路不平。
流浪的人儿想家乡，
哎，家乡的山水亲又亲。
那歌声和琴声十分凄婉，扣人心弦，撩起了旅人们怀乡的情思。悲鸿也仿佛回到了故乡门前的河边，那远去的帆影，雪白的浪花，小屋后面桑树的清香，临别时母亲的叮咛细语，都像梦一样来到了他心里。
唱到一个拖长的音节之后，琴声戛然止住了。姑娘请求施舍的目光从每一个旅客的脸上匆匆地移过去，又移过来。徐悲鸿从父亲手里接过一角小洋，送到姑娘手里，风尘仆仆的旅客们也在摸索瘪瘪的钱袋，将一两个小钱递过去。
徐悲鸿和父亲奔走于无锡的街头巷尾，写字卖画，风餐露宿，饱尝了人间的艰辛。
有一天，当悲鸿和父亲卖完了画，迎着傍晚的烟霞，走回旅店时，瞥见一家茶馆门前簇拥着一群人。徐悲鸿也挤了进去，看见一个年轻妇女坐在台阶上嘤嘤哭泣。
听围观的人们议论才知道，这是个新近死了丈夫、又被夺了田的无依无靠的妇女。她在城门附近搭了一个窝棚，靠卖茶水勉强维持生活。
不料，一家茶馆老板的儿子却带领一班恶少，纵火焚烧了她的窝棚。这个年轻妇女一面哭泣，一面用手掌不停地揩抹脸上的泪水。她怀抱中的婴儿睁着明亮的大眼睛看着周围的人们，不时伸出小手抓弄母亲蓬乱的头发。
一种强烈的不平使悲鸿勇敢地，几乎是冲动地走进了这家茶馆，徐达章也跟了进去。他们想劝说茶馆老板发发善心，给予赔偿。肥头大耳、油光满面的老板最初是眯细着眼睛瞧着他们，貌似听着，继而狞笑起来，最后破口大骂，抓起一只茶杯朝徐悲鸿扔过来。
茶杯打在徐悲鸿头上，鲜血从浓密的黑发里涌出来。从此，他头上留下了一块深深的伤痕。
一天，他们来到了一所公馆，为那家的老太爷画像。徐达章小心翼翼地走进朱红色的大门，来到堂屋，只见一位尖嘴猴腮的老头气喘吁吁地躺在躺椅上，阴阳怪气地说：“穷画画的，给我画一张全身的，画不好，我可不给你钱。”
徐悲鸿气得双拳紧握，真恨不得一拳把他打倒在地。
出了朱漆门楼，徐悲鸿头也不回地跑回住地。他真想大喊一声：“我恨这个世界！”
在这些残酷而痛苦的现实面前，徐悲鸿的心也渐渐成熟起来。江湖卖艺的生涯使徐悲鸿不断地接触下层社会和劳动人民，不仅使他了解和同情人民的苦难，而且使他知道了许多国家大事。特别是辛亥革命的爆发，激发了他心中的许多美好设想。
这一切都以浓重的阴影，投到徐悲鸿年轻的心上。他开始忧国忧民，并在他精心描绘的画面上署名“神州少年”，同时盖上一方“江南贫侠”的印章。
徐悲鸿更加发愤地练画，学习父亲的笔法，从父亲那里接受了许多中国传统的绘画艺术，逐渐形成了自己独树一帜的风格。
他注意观察身边的事物，收集各种烟盒封面，摹写上面的各种动物。在书店里，他看到了欧洲19世纪绘画大师们作品的复制品，这些都给他以莫大的启迪。
他幻想有一天，自己也到那遥远的地方去看一看，亲聆艺术大师的指教。
流浪的岁月年复一年地在风雨中消逝。徐悲鸿经常为父亲磨墨铺纸，看父亲落笔挥毫，听父亲不知疲倦地说古论今。在潜移默化中，他不断地接受着中国传统绘画艺术的熏陶。他不仅成为父亲有力的助手，而且开始摸索创造自己的风格。
当时的强盗牌香烟盒中，附有逼真的动物画片，徐悲鸿很爱收集，渐渐认识了各种猛兽的真形。后来，又得到日本的动物标本，他便爱不释手地对着标本摹写。
日子一天天过去了。漂泊的流浪生活，终于使父亲体力不支，染上了重病。徐悲鸿求助无门，欲哭无泪。徐悲鸿寸步不离地护理着病榻上的父亲，请医生，跑药店，为父亲买些可口的饭菜，自己却饿着肚子，以水充饥。
在徐悲鸿的精心看护下，父亲脱离了危险，能下床行动了，徐悲鸿便搀扶着父亲，踏上了归乡的路程。