洞庭湖中有座山，南北长25公里，东西宽4公里，海拔高115.7米，历史上，先后被称作洞庭山、青草山、湘山、蠡山、赤山。

秦始皇二十七年，中国统一后，始皇东祭泰山，过淮河，经九嶷、衡山，浮湘江而下，欲经湖北荆州回咸阳，洞庭湖是他必经之水路。不料于洞庭逢大风，几不得渡，就有了下面的故事。

始皇进入湘水上游时，曾对着西面的大山问李斯：“这里是不是衡山祝融之地？”李斯告诉秦始皇：“西边隐约能见到的大山，叫九嶷苍梧。早年，虞舜、祝融先祖，就是顺着这条道进入九嶷，在潇湘入洞庭沿岸生息。舜到晚年，从一个叫洞庭山的地方离开二妃，涉方湘南，崩于此山一带，葬在此山上。”秦始皇听了，面向九嶷山巅作了几个揖，以示祭拜。

行船一路迢迢，沿湘江而下，经过衡山时，又拜祭了祝融之神。浮江的船只很快来到了湘、资、沅、澧四水汇合处——洞庭湖，面对浩瀚的南洞庭湖面，始皇一行惊叹不已。北眺彼岸烟波，昔日楚都荆州古城的威仪还在吗？站在船头的秦始皇心里正出神地想着。忽然，大阵颠簸起来，一阵初夏的东南风刮过，广阔的湖面顿时白浪滔天。始皇即令李斯通知舵工，将行船顺风驶向左岸有大山的地方，以避风浪。船向现在洞庭湖中最大的岛赤山行使，风浪未见减弱，但秦始皇见湖中有山，受惊的心慢慢平静了些，问李斯：“你知道这叫什么山？是否需要登临祭拜？”李斯告诉始皇道：“此乃湘山（《汉书﹒地理志﹒第八下》载：长沙国，益阳，湘山在北）。舜帝二妃娥皇、女英，因舜涉方崩于九嶷，登山顶南望苍梧痛哭，泪尽力竭，死于此，葬于此，山因而得此名。山南之红墙绿瓦处，可能就是湘山寺吧。”秦始皇听着，心想，莫非遇大风大浪，是因为前些天我没有上九嶷山拜祭舜帝陵，舜帝显圣，使湘灵作梗？遂令船工在靠山的南端上岸。登到山巅，果然香烟缭绕。但，这哪里是湘山寺呢？高悬的祠匾上不是明明写着“越大夫范蠡大庙”字样吗？

一路来，秦始皇乘船受惊，上山又被假象所惑，不禁怒发冲冠，没想到在这山头立着的，竟不过是越国夫子少伯之位。越胜吴后，范蠡不继续好好地辅佐越王治理国家，却带着美女西施来这美丽的洞庭山隐居，竟沾得舜帝王气，受后人谟拜！始皇回想到泰山封禅后，沿渤海东行，南登琅牙，已将越王勾践台夷为平地以重筑。不料今上湘山拜祭女神，又遇其夫子少伯庙宇！此情此景，惹恼了秦始皇——区区一越国大夫，竟要眹堂堂天子来参拜么！盛怒之下，令三千刑徒把范蠡寺周围的大树砍个精光，使整个山头成了一片赭土，心头怒气尚未平息，又叫李斯令刑徒放火焚烧所伐树木，一时间，整座大山火赤云天。

秦始皇一行下山时，遇百姓上山烧香祭拜湘妃。百姓见到秦始皇，拜倒路旁，不敢抬头。李斯问百姓：“这里可是湘山？”老百姓告诉李斯道：“自从越国大夫范蠡携西施隐居到此之后，洞庭山不叫了，青草山不叫了，湘山也不叫了，改名蠡山。现在，舜二妃墓冢仍在公主山的封姬岭上”。又跪着告诉秦皇道，西北去之不远，有香炉湖，湖中有岛状若香炉，是范蠡与西施的隐居之处。始皇一行来到公主山，果然风光秀丽，山水相依，真是山中又见湖，湖中又有岛。

拜过二妃，天晴了，风息了。秦始皇一行上船，得女神保佑，经华容水道，平安抵达荆州，回西安城了。

秦始皇走了。这里的山民和来往洞庭的船只，却在百里之外，从东起岳阳、湘阴、汨罗，南达益阳、汉寿，西至鼎城常德，北抵南县、华容、安乡的广大水域，都能看到被秦始皇伐木烧成了一片赤红焦土的洞庭山。

从此，老百姓就把它叫做赤山了。

在民间传说中，赤山是秦始皇一鞭子从咸阳赶来的。而岳阳君山，则不知从什么时候起被人们认为是“洞庭山”了。