La tétrica construcción data del año 1863 y es famosa alrededor del mundo debido a los numerosos hechos de carácter sobrenatural que supuestamente se han registrado en este sitio a lo largo de muchos años. Tanto cobró fama la Rectoría, que a menudo estimuló la curiosidad de la prensa de aquel país, lo que hizo que su fama se extendiera.
Pero la Rectoría de Borley guarda más de un secreto: uno de ellos puede descubrirse en sus cimientos, que dan muestra de la existencia de una construcción mucho más antigua que existió justo en el mismo lugar. Se dice que justo ahí, pero en 1362, se levantó un monasterio benedictino que más tarde fue consumido por las llamas.
El origen del terror sucedió cuando un religioso se enamoró de una monja y decidieron escapar juntos. Cuando iban montados en la carroza que los transportaba a su destino, fueron descubiertos por las autoridades eclesiásticas y condenados a la muerte. Tampoco el chofer de la carroza se salvó del fatal castigo. El monje murió por ahorcamiento, mientras que a la religiosa se le aplico un castigo mucho más cruel: fue enclaustrada viva entre los muros de aquella edificación.
Con el paso del tiempo la familia que llegó a habitar la Rectoría Borley aseguró escuchar pasos por las habitaciones, al tiempo que fue visto el espectro de una monja recorriendo los oscuros pasillos de la casa. Otros testigos afirmaron ver en los alrededores un carruaje tirado por un jinete sin cabeza.