到庐山游览的人，几乎没有不去仙人洞光顾一番的。有的从锦绣谷一路游览到仙人洞，也有人从刻有“仙踪渺黄鹤，人事忆白莲”对联的圆门进去，但不管从正门还是走侧门，只要走进仙人洞，游人便会有一种别有洞天的感觉。从正门进入仙人洞，首先引人注目的是一块凌空突出的岩石，上面刻有“纵览云飞”四字，石上挺立着一棵劲松。这便是毛泽东当年在诗中“暮色苍茫看劲松，乱云飞渡仍从容。天生一个仙人洞，无限风光在险峰”所描写的地方。

仙人洞相传是八仙之一吕洞宾栖身的地方。在历史上，吕洞宾也确有其人。他名叫吕嵒，字洞宾，号纯阳，是唐代陕西西安人，吕洞宾曾在终南山修道，以后浪迹江湖，自称“回道人。”道教徒称他为“吕祖”。由于李唐王朝崇尚道教，道人得到独尊的待遇，因此，有关吕洞宾的轶闻趣事也就传说纷纭。自从吕洞宾来到庐山，仙人洞便不仅被说成是他修炼成仙的地方，而且为道家所独占。仙人洞原为庐山释道两家读经修行之处，因形状很像一只伸开的手掌，故名佛手岩。岩洞深约四丈，可容百余人。后来，人们为了在洞内奉祀吕洞宾，佛手岩便改名为仙人洞。

吕洞宾的成仙之说在民间广为流传。据《九江府志》载：“吕洞宾拜浔阳令，能以德化民，游庐山，遇异人，得长生诀，后游湘潭，渚鄂之间，天下悉知其名。”这样看来，吕洞宾似乎是弃官上庐山修炼成仙的。但府志中并没有记载吕洞宾在庐山遇到了哪位异人，得到的是一种怎样的长生诀。倒是宋代诗人白玉蟾写的《授墨堂记》的碑文中有这样一段文字：“浔阳乃天下江山眉目之地，庐山盖仙灵咏其洞天，虎溪福地也。唐吕洞宾进山中遇钟离权，获刀圭之传，后与之俱仙矣。”

相传，吕洞宾在仙人洞修炼一个时期后，活到一百多岁，依然鹤发童颜。吕洞宾一直剑不离手，独创了一套高超的剑术。吕洞宾还有“起死回生”的医术，他常奔走山上山下，为人治病，不取分文报酬，浔阳百姓对这位“不为良相，便为良医”的吕洞宾非常尊敬。吕洞宾除了在仙人洞内潜心修行外，还喜欢到庐山其它的寺院道观游览。他在游览庐山山南的归宗寺时，曾在寺院的墙壁上题写了一首诗：“一日清闲自在仙，六神和合报平安。丹田有室休寻道，对镜无心莫问禅。”诗中体现了吕洞宾厌倦官场的喧嚣，渴望修道清闲的心绪，这与史书有关他弃官修道的记载还是相吻合的。

仙人洞洞内简陋，因为有一座石建的吕祖龛，人们便把这座天然的洞府称作纯阳殿。殿内神龛中供奉着身佩宝剑，手持佛尘的吕洞宾石像。石像旁有一幅“称师亦称祖，是道仍是儒”的对联，使得神态潇洒的吕洞宾更显几分凡间骑士武侠的风采，让游人觉得非常亲近。仙人洞内还有一滴泉水，终年不断，在北宋时就有关于它的记载，人们还送给它一个“洞天玉液”的雅号。1959年，庐山会议期间，毛泽东游览仙人洞时，还特意喝了一口这里的泉水。仙人洞内的岩壁上遍布名家石刻，使这个自然的岩洞多了一份浓厚的人文气息。如果在晴天，站在仙人洞前纵目远眺，在青翠氤氲之中，山下阡陌交错，村落相间，长江宛如一条从天飘落的玉帛，很容易让人生出一种神仙洞府、天地悠然的感觉来。