Construido en 1779 bajo la dirección del ingeniero militar Bartolomé Amphoux para albergar inválidos del ejército, estaba ubicado en la calle San Fernando junto a la puerta de la muralla romana y frente a la iglesia de San Froilán.
Era conocido como el cuartel de los Inválidos de San Fernando su construcción es de estilo neoclásico y está reconocido como Bien de Interés Cultural con categoría de monumento al conservar su estructura y distribución original y por esta junto a la muralla que tiene la consideración de Patrimonio de la Humanidad. La cocina (antiguo bar de oficiales) todavía conserva su estructura original con sus abovedamientos primitivos; sucede lo mismo con las escaleras, cuyos zócalos son de granito como medida profiláctica para evitar contagios, y con las seis enfermerías y los nueve cuartos para las tropas, que constituyen las dependencias más originales de todas y que se conservan sin modificaciones significativas. En este acuartelamiento se encontraba la Farmacia Militar.
A 2018 el ayuntamiento de Lugo propietario del inmueble y la Xunta tienen previsto un conjunto de obras de rehabilitación que permitan el mantenimiento del edificio y su uso público y creación del Museo da Romanización.