terremoto de 1797 causa graves daños a su estructura dejándolo prácticamente inhabitable. Luego, sobre sus ruinas se construye para 1800, la iglesia de la Virgen del Carmen reemplazando a la antigua Ermita del Carmen. En su entrada lateral que queda frente a la Basílica de Santa Inés a comienzos del siglo XX el cardenal Manuel Arteaga Betancourt que fue párroco construyó una réplica de la gruta del Santuario de Lourdes dedicada a la Virgen María con piedras traídas desde la gruta original en Francia, este cardenal construyó otras grutas en Margarita y Caracas pero esta es la más grande en Venezuela. El castillo fue declarado Bien de Interés Cultural y Patrimonio Municipal en mayo de 2005.