I principali possessori furono membri della famiglia Scotti, ma fu proprietà anche dei Farnese e Pallavicino, e come molti castelli fu distrutto e ricostruito svariate volte.
Nel 1922 fu fatto restaurare dalla principessa Ruspoli Gramont, e divenne luogo di icontri mondani dove passarono personaggi del mondo della cultura e dello spettacolo, mentre negli anni '80 vi fu girata parte del film Lady Hawke.
