天正十八年（1590年）徳川家康は、江戸入りの直後、江戸がいつか深刻な水不足になると考え、大久主水に上水道の造営を命じました。主水は、井の頭池から発する流れに善福寺池、妙正寺池の流れを合わせ、小石川の関口に堰を築き（関口の大洗堰）水位を上げ、上水を神田より市中に給水しました。これが日本初の都市水道「神田上水」です。

関口という地名は、神田上水の堰を設けたので、その名が起こったと言われています。関口水神は、創建の年代は明らかではありませんが、「江戸妙子」には「上水明けてより関口水門の守護神なり。」とあります。伝えによれば、水神様が八幡宮社司の夢枕に立ち、「我水伯（水神）なり、我をこの池に祀らば堰の守護神となり、村民を始め、江戸町ことごとく安泰なり。」と告げたので、ここに水神様を祭ったと言われています。

又、この辺りは、田園地帯で清らかな神田上水が流れ、江戸時代は風光明媚な江戸名所と知られていました。中国の風水では、うねった坂道が下がり、くぼみになった所に水がある場所は龍が住む神聖な場所と言われています。そこからも、この目白台のふもとに水神様を祭ったのだと思われます。元々水神様は芭蕉庵の近くにあるとされていましたが、ここが本来の場所であるという霊示により「関口水神」を発現し、お祭りしました。