白人神社は１５９６～１６１４年（慶長年間）の初め、稲田修理亮によって再興されたといわれ、阿波藩の家老であり脇城主（後に淡路城代となる）であった稲田家の信奉が厚かった神社です。
稲田氏は代々鎧・刀・画などの寄進をたびたび行っていますが、当神社玄関にある「白人大明神」と刻まれた額も稲田主税助植春の奉納したもので、彗雲鉄啀の書になるものです。そのほか同神社に保存されている箙（えびら）は木製で、蜻蛉の形の彫り物を施し、全国的にも類例が少ないといわれています。
○白人神社御的射祭り
保元の乱後讃岐におられた崇徳上皇をたずねてきた源為朝が阿讃国境の相栗峠で弓を引いたところ、その矢が白人神社に落ちたと伝えられ、それ以来、弓は神社宝物となり、旧正月十四日御的射が行われています。
