In un momento non precisato del 1392 il castello passò da Federico Speciaro ai conti di Cabrera, e poi venduto nel 1453 alla famiglia Naselli, di cui diventò la dimora stabile fino al 1693, quando un terremoto lo demolì per buona parte. I lavori di restauro andarono avanti per buona parte del '700, ma ne uscì come dimora signorile. Durante il tempo dei Borboni rimase abbandonato, ma una parte fu in seguito convertita a teatro. Adesso è proprietà della famiglia Nifosì, che ci abita.
