Na mieste dnešného kaštieľa pôvodne nechal postaviť Michal z Lefantoviec v roku 1369 paulínsky kláštor sv. Jána, ktorý v dobách tureckého nebezpečenstva slúžil ako útočisko pre paulínov z celého Uhorska. V roku 1636 získal kláštor opevnenie a nasledujúcom období bol viackrát prestavovaný. Najvýznamnejšia prestavba sa uskutočnila v roku 1774, kedy budova získala druhé poschodie. Kláštor bol zrušený cisárom Jozefom II. a následne chátral. V roku 1836 kúpil celý komplex František Edelsheim – Gyulay, ktorý v roku 1894 začal s prestavbou kláštorného komplexu na honosný kaštieľ v duchu neskorého baroka a klasicizmu. Projektovo celé dielo zastrešil Jozef Hubert.

Kaštieľ je dvojposchodová budova postavená na obdĺžnikovom pôdoryse s vybiehajúcim krídlom v strede dispozície. Vybiehajúce krídlo bolo pôvodne gotickým jednoloďovým kostolom, ktorý bol koncom 19. storočia prestavaný na reprezentačný vstup s balkónom. K uzáveru presbytéria gotického kostola predstavali okrúly balkón a pôvodný kostol výškovo rozdelili na dvoranu na prvom podlaží a hornú slávnostnú sieň s pôvodnými klembami a vzácnymi freskami Jozefa Bergla z roku 1774 s výjavmi zo života sv. Jána Krstiteľa.

Okolo kaštieľa je anglický park, ktorý prechádza do voľnej prírody. Zachvaná je historická konfigurácia terénu i drobná parková architektúra, v lese je mauzóleum.

V štyridsiatich rokoch 20. storočia kaštieľ začal slúžiť ako Odborný liečebný ústav TBC a respiračných chorôb.

Dnes je kaštieľ nevyužitý a pomaly chátra.

foto: obec Horné Lefantovce