Cuartel Castillo de Mata o Cuartel de Alonso Alvarado se construyó en 1577 como un torreón redondo situado al final de la muralla, y que deteriorado por los ataques de la armada holandesa capitaneada por Pieter van der Does en 1599, fue reedificado por Francisco de la Rúa. Debido a la derrota de los invasores en esta zona, la fortaleza recibió el nombre de Castillo de Casa Mata, conocido hoy como Castillo de Mata, y debido a que su función era la de guardar la muralla de la ciudad se hizo de forma de casamata por lo que dispuso de hasta 9 cañones
El 22 de abril de 1949 fue declarado Monumento Histórico Artístico, siendo así protegido por la Declaración genérica del Decreto de 22 de abril de 1949, y la Ley 16/1985 sobre el Patrimonio Histórico Español.

Estuvo cedido al ejército español hasta 1997, que lo utilizaba como alojamiento de una Unidad de La Legión y como destacamento de las compañías de policía militar cuyo cuartel central se en contraba en el acuartelamiento Las Rehoyas, Actualmente la Compañía 83 de Policia Militar integrada en el Batallón de Cuartel General de la Brigada "Canarias" XVI integra y hereda el historial de las Compañías de Policía Militar 113 y 114.

Finalizada una profunda rehabilitación en 2013 a cargo del arquitécto Ricardo Montesdeoca, actualmente acoge el Museo de la Ciudad y el Mar, un proyecto de la Doctora en Historia del Arte, Ángeles Alemán, vertebrado sobre dos ejes: la historia del Castillo y su arqueología y la historia de la ciudad y su relación con el mar.