李渤与其兄李涉曾于唐贞元年间（785—805）隐居庐山白鹿洞。唐长庆元年至二年（821—822）李渤为江州刺史。由于李渤人品高尚，所以人们称其为贤人，以纪念这位庐山白鹿洞的开拓者。
兄弟隐居白鹿洞
《新唐书·李渤传》载：“李渤字濬之，魏横野将军申国公发之裔，父钧，殿中侍御史，以不能养母废于世。渤耻之，不肯仕。刻志于学，与仲兄涉皆隐庐山。”
庐山，位于江西北部，长江的南岸。这里一山从平地拔起，高接云霄，耸立于鄱阳湖长江之滨。悬崖、峭壁、清泉、飞瀑，点缀于丛山峻岭之间，气势磅礴。这里江湖水汽郁结，云气弥漫，似仙境，亦似天堂，给庐山带来几分神秘的色彩，有“不识庐山真面目”之惊叹。
李渤兄弟隐居的白鹿洞，位于庐山东南的五老峰下。这里前有卓尔山，后有后屏山，左有左翼山，右有五老峰，山峦起伏，沟壑纵横，怪石嶙峋。
这里苍松挺拔，古树成群，红枫漫山，杜鹃映红，野花常开，芳草铺地。
这里雁飞长空，鸟歌于树，蝉鸣于林，蝶舞蜂拥，生机盎然。
这里后有山泉，中有小溪，前有明湖，左有清池，鱼游虾戏，别有意趣。
李渤兄弟到达庐山之后，跨壑涧，爬深山，进寺庙，游道观，探觅幽境，到处选择隐居之所，最后决定定居在白鹿洞。他们以木做桩，以竹敷泥做墙，以茅做瓦，竹篱茅舍风光好，世外桃源心满意。传说他俩还办起了学校，以教育士子。
李渤养了一只白鹿，这只白鹿很温顺，经常跟随李渤野游。李渤需要买一些生活用品或文房四宝用品时，只要写一张字条，挂在白鹿角上，白鹿就带着主人的这张字条，到南康（治今星子）的街上，找到店主，将需要的物品买回来。因此，人称李渤为白鹿先生。据说，李渤走后，白鹿也离开人世升天了。庐山的仙人洞有白鹿升天台，就是白鹿升天的地方。也有人说，此鹿在由白鹿洞到南康的路上被猎人所害，猎人后来知道此鹿有这样好的灵性时，也非常后悔。
白鹿洞原地名不明，此处也并无大洞，李渤、李涉到这里隐居后，由于四周环山，俯视似洞，又由于李渤养了一只白鹿，所以从李渤隐居开始，这里就名白鹿洞。南唐昇元四年（940）在此建立了国学，名白鹿国学。北宋开始建立书院，名白鹿洞书院。
据《白孔六帖》云：“李渤隐居庐山，摭古蕴德高蹈者楚接舆、老莱子、黔娄先生、于陵子、王仲豫、梁鸿六人图其像，赞之以自警。”
李渤为什么要将这六人的图像挂在他的隐居之处，这六人有哪些德行呢？
老莱子，春秋末年楚国的隐士。相传他居蒙山的南面，自耕自给，有孝行，年七十，常穿花衣裳，作小孩哭闹状，让父母高兴。楚王要他出来做官，他不愿意，以后迁到了南方。
黔娄，战国时的齐国隐士，齐国和鲁国的国君请他出来做官，他不愿意。他的家境非常贫寒，死的时候，衣不蔽体。陶渊明曾有《咏贫士》诗：“家贫守贱者，自古有黔娄。”
于陵子，战国楚人，居于陵，楚王听说他很贤能，派使者以百镒聘请他。于陵子与妻子商量。妻子说：“我们现在有个安乐的家庭，还有肉吃，热爱楚国，就可以了。现在是乱世，出去做官，恐怕先生命都难保了。”白鹿洞书院大门听了妻子的话，于陵子觉得有道理，对使者表示不愿出来做官。但使者不同意，于是他与妻子逃出家园，到他地为别人浇灌菜园。
梁鸿，东汉初年扶风平陵人（今陕西咸阳西北），家庭贫寒，学问很渊博，与妻子隐居霸陵山中。曾经因为出潼关，过洛阳，见皇家宫室奢侈华丽，而作《王噫之歌》，对统治者有所讽刺，因而恼怒了皇帝和大臣。他只好改变姓名，向东逃往山东，后往苏州，依靠皋伯通，居廓下小里为人佣工舂米。每次回来，他的妻子孟光做好饭菜，举案齐眉，对他表示敬爱。
楚接舆，楚隐士。孔子周游列国，将适楚，接舆在孔子车前狂歌曰：“凰兮，凰兮，何德之衰。往者不可谏，来者犹可追。已而已而，今之从政者殆而！”孔子忙下车，欲与之交谈。接舆急忙避开，而不与言。
从这六人的言行来看，他们都是古代的高士、贤人。李渤将他们的像挂在房中，“以自警”，也就是要向他们学习，学习他们的高尚品德，做一个有德行的隐士。
李渤在白鹿洞的时候，他的弟弟李淑来看他，李渤欣然作《喜弟淑再至为长歌》：
庐山峨峨倚天碧，棒排空崖千万尺；
社牖长题高士名，食堂每记云山迹。
我本开云此山住，偶为名利相萦误；
自负心机四十年，羞闻社客山中篇。
忧时魂梦忆归路，觉来疑在林中眠；
昨日庭前鸟鹊喜，果得今朝尔来此。
吾吟行路五十篇，尽说江南数千里；
自怜兄弟今五人，共萦儒素家尚贫。
虽然廪饩各不一，就中总免拘常伦；
长兄年少曾落拓，拔剑沙场随卫霍；
口里虽谭周孔文，情中不舍孙吴略。
次兄一生能苦节，夏聚流萤冬映雪；
非论疾恶志如霜，更觉临泉心似铁。
第三之兄更奇异，昂昂独负青云志；
下看金玉不如泥，不道王侯身可贵。
却愁清逸不干时，高踪大器无人知；
倘途感激许然诺，必能万古留清规。
念尔年来方二十，夙夜孜孜能独立；
卷中笔落星汉摇，洞里丹灵鬼神泣。
嗟余流浪心最狂，十年学剑逢时康；
心中不解事拘束，世间谈笑多相妨。
广海青山殊未足，逢著高楼还醉宿；
朝走安公枥上驹，暮伦陶令篱边菊。
近来诗思殊无况，苦被时流不相放；
云腾浪走势未衰，鹤膝蜂腰岂能降？
送尔为文殊不识，贵从一一传胸臆；
若到湖南见紫霄，会须结我同攀涉。
其兄李涉在庐山得到元侍御书，并作《庐山得元结侍御书》：
渐君知我命龙钟，一纸书来意万重；
正着白衣寻古寺，忽然邮递到云峰。
李渤在白鹿洞的活动，当时的文人雅士就曾予以歌颂。
白居易的《再过江州题别遗爱草堂兼赠李十使君》，记载了李渤担任江州刺史的时候，白居易由长安赴杭州任刺史，途经江州，并与李渤相会，白李二人以诗歌酬唱。白居易的诗文提到了白鹿洞：
曾住炉峰下，书堂对药台。
斩薪萝径合，依旧竹窗开。
砌水亲开决，池荷亦自裁。
五年方暂至，一宿又须回。
纵未长归得，犹胜不到来。
君家白鹿洞，闻道亦生苔。
诗题注原为：“李亦庐山人，常隐白鹿洞。”李十使君即李渤。
唐代诗人杨嗣复《题李处士山居》，提到李渤修建白鹿洞台榭事：
卧龙决起为时君，寂寞匡庐惟白云。
今日仲容修敬业，草堂焉敢更移文。
高安人许彬有《题李宾客庐山草堂》：
难穷树下趣，坐使致君恩。求业行当代，封章动谏垣。
名将山共古，迹与道俱存。为谢重来者，何人更及门。
李渤开辟白鹿洞，受到后人的赞扬。白鹿洞书院建立后，他在这里也就占有一席之地。明正统三年（1438），翟溥福为南康太守，维修白鹿洞书院，于大成殿西建三贤祠，祀朱子、李宾客、濂溪先生，而以陶渊明、刘凝之、陈了翁、刘道源配之。明弘治十年（1497），苏葵建先贤祠，祀李宾客等十二人。
李渤在白鹿洞的名望和遗迹，也成为后人诗词歌咏的对象。
永乐二年状元曾棨《游白鹿洞》诗：
昔人爱山住幽谷，上山下山骑白鹿。
一朝振袂入长安，出为唐宗重钧轴。
功成拂衣归故丘，还与白鹿山中游。
朝拂香炉之紫烟，暮饮瀑布之清流。
沧桑一变成烟落，书堂重构弘歌作。
紫阳赋罢三百年，从此文光照岩壑。
永乐进士罗汝敬《游白鹿洞》诗：
闻昔仙人在空谷，身披荷衣骑白鹿。
穿云带月去复还，踏破青山几回绿。
一从征召贡丘园，白鹿深间卧白云。
谏垣飞章见真节，煌煌史传流清芬。
倦游重忆匡南路，径乘白鹿山中去。
遗书满架花草深，千载风流紫阳赋。
余宗《游白鹿洞诗》：
猗欤李拾遗，千古驰芳名。
昔隐庐山麓，表然杰特行。
幽哉读书处，芸馆聊自营。
一朝辞白鹿，显达功名宏。
王汝宾《再至白鹿洞》：
昔贤乘鹿赋幽寻，小洞名留却到今。
人去独余芳草绿，山寒长共白云深。
桥边卧柳春临水，台下归鸦晚度林。
何日更从湖上过，遗址犹在许登临。
李渤离开白鹿洞约1200年了。“昔人爱山住幽谷，上山下山骑白鹿”的“人”与“鹿”今日见不到了。但“人去独余芳草绿”“小洞名留却到今”“桥边卧柳春临水”“遗址犹在许登临”的景象却吸引着千千万万的旅游者。
刺江州
江州，为西晋元康元年（291）分荆、扬二州所置。治所初在南昌，后移今九江市。唐代辖地相当于今九江市、九江县及德安、彭泽、湖口、都昌等县地。李渤于唐元和初年（806）以右拾遗召，他不肯与任。韩愈曾经写信给他，说李渤“有朝廷引领之望，若景星凤凰，先睹为快”。又写诗云：“少室山人索价高，两以谏官征不起。”以后，李渤同意出山参政，“每朝政有阙，辄封章上之”。长庆间（821—824）出刺虔州（又说处州），改江州，历事三朝，有直谏声，虽屡以言斥，而耿介不挫。
李渤在江州任上，勤政爱民，上书请求蠲免江州三十六赋，诏允。他兴利除弊，政绩卓著，为民做了不少好事。《新唐书·李渤传》称：“渤又治湖水，筑堤七百步，使人不病涉。”还建立两所书院：一在郡城内，为景星书院；一在今德安境内，后人称其为李渤书堂。
当时，江州州城南临湖水，城藉为濠，来往人员都要借舟楫通行，很不方便。李渤带领百姓在湖中拦腰筑堤，堤长约1公里，宽约4米，高约3米，堤上筑桥，以通内外湖水。
湖有二名，一名景星湖，后人因感李渤在湖上筑堤之恩，取韩愈称赞李渤“若景星凤凰”。一名甘棠湖，亦为赞美李渤筑堤之事。甘棠本为木名，即棠梨。《诗·召南》有《甘棠》篇。《朱熹集传》：“召伯循行南国，以布文王之政，或舍甘棠之下。其后人思其德，故爱其树不忍伤也。”后世因用“甘棠”称颂地方官吏之有惠政于民者。
甘棠湖水面宽阔，烟波浩渺，沿岸杨柳成荫，水中匡庐倒影，风光旖旎。宋苏轼有诗云：
读书匡山中，作那庐山下。
平湖浸山脚，云峰对虚榭。
红叶欲纷落，白鸟时来下。
犹思隐居胜，乱石惊湍泻。
甘棠湖堤有桥，人称思贤桥。思贤者，即思念李渤也。
湖中有五贤阁。此处有一约600平方米的台地，高出水面约2米，清顺治十七年（1660）建阁，阁内祀五贤，皆为任江州刺史之人。李渤为五贤之一。阁为木质结构，雕梁画栋，飞阁流丹。湖中建有烟水亭、纯阳殿、翠明轩、镜波楼等。这里湖光山色，风景极佳，游人终年络绎不绝。
李渤任江州刺史，其兄李涉也回京“偶从陈许辟命从事行军，至太子通事舍人”，后以罪谪夷陵宰。李涉曾与李渤有书信往来，并赋诗唱和。
李涉《谴谪康州先寄弟渤》：
唯将直道信苍苍，可料无名抵宪章。
阴骘却应先有谓，已交鸿雁早随阳。
李涉《奉和九弟渤见寄诗句》：
忽启新缄吟近诗，诗中韵出碧之词。
且喜涉冈愁已散，登舟只恨渡江迟。
遍览庐山风光
李渤隐居白鹿洞，做官江州（治今九江），曾遍览庐山周围风光。
栖贤寺，始建于南齐永明七年（489），咨议参军张希奏置寺。唐宝历初年（825），江州刺史李渤徙置是山，以僧智常居之。李渤曾经在这里建有读书台，当地百姓以李渤为贤人，故名寺为栖贤寺。
王十朋诗云：
瀑水声中夜不眠，星河影动半秋天。
谁云滟滪瞿塘近，只在扬澜左蠡边。
狮子吼成方外法，石人参得定中贤。
住山五老知今古，借问曾栖几个禅？
邓林诗云：
名重于诸刹，前贤旧隐踪。
无人知有路，隔树忽闻钟。
瀑壮山疑裂，云深树若封。
或传遗稿在，三叩昔时松。
曹龙树诗云：
一谷环千山，李渤读书处。
在木戴青岚，闲云摊白絮。
不闻读书声，梵音达错曙。
名士风已邈，石室无遗蠹。
这些诗都倾吐了后人怀念李渤在栖贤寺的心声。
李渤在栖贤寺读书，还在庐山犁头尖之南的万寿寺种花，人称此处为百花园。
李渤曾游庐山南麓隘口黄龙山麓的简寂观，并作《宋庐山简寂陆先生传》，传中云：“先生吴懿族陆氏之子，讳修静。道降元气，生而异俗，其色恰恰，其德熙熙，明以启着，虚以贯幽，少宗儒氏，坟索许讳。靡不总族，以为先天抚化，混一精气，与真宰为徒者。载在金编，玉宇不形于此……宋元嘉末，因市药采邑，文帝味其风而邀之。先生不顾及初难作，人心骇疑，遂沂江南游。嗜匡阜之胜慨，爱构精舍，澡雪风波之思……天子乃退斋筑馆，恭肃以迟之，不得已而莅焉……”
李渤之所以为著名道教祖师陆修静做传，是因为他的思想与陆同源，不愿意做官，而愿意优游于山水之间。陆修静之所以去见南朝宋明帝，是因为南朝宋明帝对他非常热情，不好推却。而李渤之所以隐居庐山，也是因为不愿做官，后来又做了唐代的官，也是因为唐宪宗和穆宗的多次征召，才为唐效力。李渤为陆修静做传，实际上是抒发他自己的意愿。
李渤还游览了长江与鄱阳湖交界处的湖口石钟山。此处，鄱阳湖水清，长江水浊，从石钟山可以看到一线中分，将江水与湖水隔开。
李渤饱览石钟秀色，翻阅北魏郦道元所著《水经》。郦道元认为：“下临深潭，微风鼓浪。水石相搏，响若洪钟，因受其称。”他对郦道元之说有所怀疑。因此，他“跻崖穿洞，访其遗迹，次于南隅，忽遇双石。倚枕潭际，影沦波中，询诸水滨”。乃曰：“石钟也，有铜铁之异焉。扣而聆之，南声涵胡，北声清越，枹止响腾，余韵徐歇。若非泽滋其山，山涵其英，联气凝质，发为至灵，则安能产兹奇石乎？”他认为那“双石”有“铜韵”，可谓是石钟。因此，他也写了《石钟山记》以传世。
李渤在庐山隐居、在江州做官的时间都不长。他所开拓的白鹿洞，现在已成为全国重点文物保护单位、国家一级自然保护区、世界文化景观，入列世界遗产名录，对外开放，接待中外旅游者。他做官的江州（今九江市），京九铁路在这里通过，从重庆、武汉开出的大轮从这里驶往南京、上海，九江市已成为南北东西通衢，成为一座繁华的城市。
“山不在高，有仙则名，水不在深，有龙则灵。”由于李渤隐居，养性悟德；做官则勤政爱民，直言敢谏，不避权势，所以后人怀念他，称他为贤人，把他作为偶像顶礼膜拜。作为一个人，应该多作好事，有精神，对社会有所贡献，才不负一生。