Si tratta di un antico avamposto militare, la cui funzione era difendere e controllare il lago di Como e i borghi circostanti. Il castello era associato al borgo di Varenna (a cui era collegato grazie a delle mura, che preteggevano le abitazioni), di cui seguì il destino: divennero insieme borghi vescovili, e in seguito il castello passò alla famiglia Lattuada di Lierna. Fu restaurato nel XX secolo: adesso è visitabile in determinati periodi dell'anno, e a volte ospita mostre d'arte.
