穴吹川に隣接する丘陵尾根先端部に設けられた石垣による異形の祠。南北約７ｍ、東西約22ｍの石垣による長方形の囲状を呈する。南辺に３ヵ所の入口、北辺に５ヵ所の祠が設けられる。築造年代の詳細は不明だが、石積技法や「白人大明神由来書」の記述から、少なくとも現在の姿については近世以降のものです。成立年代は比較的新しいが、神社遺構として他に類例がなく、貴重な資料です。
「白人大明神由来書」（１７７９年）によると、白人神社より約１町（１０９m）上の段の明神山という古社床といわれる所で、寛保年間（１７４１～１７４３）に芝刈の際に以下の石垣が発見されました。記された内容は、長さ八間余（約１５m）横幅四間余(約７．５m)、東南方向に入口２ヵ所、内側は長さ六間（約１１m）幅約一間（1.8ｍ）とあり、現状とは異なり、昭和３０年頃、財宝（源為朝）を捜索して大規模に掘削。特に東方では約１５ｍほど掘り下げたといわれ、これにより崩壊寸前になったため、昭和５７年一部修復している。
