En 1349 se inició la construcción del convento de San Agustín Viejo finalizándose en 1506. Los bombardeos sobre la ciudad de Barcelona ordenados por Felipe V en 1714 en la Guerra dels Segadors o primera guerra Carlista que sumió a España en una guerra civil, dañaron seriamente el edificio y los monjes se trasladaron al actual Convento de San Agustín Nuevo en la calle Hospital junto a las Ramblas.
En 1748 es rehabilitado y convertido parte en "Academia Militar de Matemáticas" para la formación de ingenieros militares que en aquel entonces dirigían o supervisaban la obra civil y cuartel de Caballería, que con los años pasaría a cuartel de Artillería. Su ubicación en calle Comercio, 36 quedó próxima al Borne (Mercado Central) y Ciudadela, entonces gran centro militar actualmente jardines y dependencias públicas (Parlament de Cataluña, Museo de Ciencias Naturales, etc) si bien conserva la iglesia castrense.
Actuó como Caja de Reclutas durante la existencia del Servicio Militar Obligatorio.
En la actualidad es el Museo del Chocolate, Museo Fotográfico de Barcelona y otras dependencias municipales.