鎌倉時代、赤門と呼ばれた浄瑠璃寺南大門がこのあたりにありました。そのそばにあった地蔵堂に祀られていたのがこのお地蔵様です。康永二年（1343年）、この南大門から火災が起こり、浄瑠璃寺の多くの建物が焼け落ちてしまいます。このとき地蔵堂も焼け落ち、焼け仏となったまま放置されてきたのかもしれません。

江戸時代初期の剣客、荒木又右衛門がここで休み水を飲み、それから水呑み地蔵と呼ばれるようになった、とも伝えられています。