含晖洞上方有三台寺，始建于宋绍兴年间。寺后有巨石如船形，名“石船”，石上建亭似船蓬，称“慈舰渡”。洞寺周围古树掩映，有揽胜亭、留仙亭等胜迹。洞壁和石船等处有历代名人题咏的摩崖题刻，记述着许多脍炙人口的传说。自然和人文景观相映成趣，堪称游览的胜地。

遂昌民间广泛流传着明太祖朱元璋到过含晖洞的故事。传说，朱元璋起兵反元之初，遭到元兵追杀，单枪匹马逃到含晖洞，他拉着马尾巴，倒行避入洞内。元兵追至洞口，见洞口结满蜘蛛网，地下马蹄印朝向洞外，以为朱元璋已离开多时，就离洞往别处追去。朱元璋因此避过一劫，后来当上了明朝的开国皇帝。

遂昌古代的《县志》没有朱元璋到过含晖洞的记载。相反，《遂昌县志》多处记述宋高宗到含晖洞。清光绪《遂昌县志》卷之二《山水》记载：“含晖洞，在邑东十里，初号‘章仙洞’，以章思廉尝住此。其间可坐数十人，有棋盘遗迹。相传为宋高宗避敌之所。”卷之五《冢墓》记载：“祝妃墓，在二都落坞。宋高宗避敌难，驻跸灵泉洞。册妃祝氏，未几而卒，即葬落坞。妃世居二都祝村，御道至今犹在。”明崇祯年间，遂昌知县许启洪有《含晖洞》诗。

一树桃花半有无，问津何处影模糊。前朝传说龙曾隐，此日凭谁乌可乎。月挂松头林磬杳，烟迷柳色洞云孤。残霞收拾囊中去，剩有余辉映玉壶。

诗中“前朝传说龙曾隐”，分明也指宋高宗。而遂昌民间流传都说朱元璋避敌到含晖洞，并没有人说宋高宗到含晖洞。是否因为朱元璋是开国皇帝，在民间影响大，传说有皇帝来过，人们都说成是朱元璋。民间还有朱元璋到石练太虚观和白马山等地的传说，但尚未见史籍对朱元璋到遂昌和含晖洞的记载。清光绪《遂昌县志》记载宋高宗曾到含晖洞，并册妃祝氏，有祝妃墓。但“祝村”、“祝氏”、“御道”等均难查实。