修善寺温泉発祥の寺で、温泉場の中心にある。

平安初期の大同２年（807年）に弘法大師が開基したもので、当時は地名が桂谷と呼ばれていたところから桂谷山寺といわれ、伊豆国禅院一千束と正史に記されたほどの格式の高い寺だった。

鎌倉初期になって建長年間（1250年頃）に蘭渓道隆（臨済宗鎌倉建長寺開山の宋禅僧）が住し、桂谷の風致が支那の廬山に似ていることから当時は肖廬山と号した。

修善寺温泉の中央部に位置し､桂川をはさみ修善寺の対岸にある公園で､ 地域の住民や観光客の憩の場所となっている｡

伊豆最古の温泉場として栄えてきた修善寺温泉には、かつて桂川に沿って７つの外湯(共同浴場)があり、それぞれの湯はその地域の生活浴場として賑わっておりました。しかし、昭和２０年代には観光名所として「独鈷の湯」を残すのみとなりました。