Convento desde el siglo XIV que en virtud de la Desamortización de Mendizabal en 1835 pasó a ser cuartel militar si bien en 1855 fue hospital dada la epidémia de cólera que asoló Ourense. Su claustro de estilo románico-gótico fue declarado Bien de Interés Cultural en 1923,de planta rectangular, casi cuadrada, ninguno de los lados tiene el mismo número de arcos, que en total suman 63, apuntados y apoyados en columnas dobles excepto las cuatro primeras y las cuatro últimas. La cubierta es de madera. La decoración se concentra en los espacios interarcos con cabezas inscritas en círculos, y en los capiteles. La temática varía desde representaciones vegetales hasta animales fantásticos y reales y seres humanos.

En 1987 en aplicación del plan el cuartel finalizó su actividad militar pasando su gestión al Concello de Ourense siendo su última unidad el Zamora nº8 desde 1944 hasta su disolución en 1985.

El Regimiento Zamora nº 8 tuvo sus orígenes el 30 de Abril de 1580, cuando el entonces Rey Felipe II organizó con habitantes de la ciudad de Zamora un Tercio, para combatir al prior Crato, franceses e ingleses en la defensa de los derechos de Portugal. Nace así lo que se denominó "Tercio de Bobadilla", por ser su primer Maestre de Campo Don Francisco Arias de Bobadilla.
Con motivo de las luchas en las islas Azores al tercio se le conoció como "Tercio de las Azores", hasta que en 1585, al ser trasladado a Flándes, pasó a denominarse "Tercio Departamental de Holanda". En 1702, en la guerrra de Sucesión, pasa a conocérsele como "Tercio nº2 " de los de Flándes. En el año 1713 se le vuelve a cambiar la denominación por la de "Tercio de Valois". En el año 1713 se produce la union del "Tercio de Valois", con un Regimiento de nueva creación en 1704 "Regimiento de Zamora", lo que se acabó conociendo como "Regimiento Zamora" aunque seguía teniendo como embrión, el Tercio de Bobadilla". En 1718 se fusiona con losRegimientos "Mondoñedo" y "Compostela" y pasa a llamarse"Regimiento nº 7" que es modificado de forma que en 1741 es el "Regimiento nº 8", en 1769 es el "Regimiento nº 7" y en 1815 "Regimiento nº 15"
Durante 1812 se organizó un regimiento gemelo a base de componentes del "Regimiento nº 7" y que fue conocido como " Gemelo del Zamora " y que fue destinado a ultramar. En 1815 absorve a los regimientos "Segundo de Guadix" y "Carmona" y pemanece con el nombre de "Regimiento Zamora nº 15", hasta que en 1823, con las reformas Liberales se disuelve en batallones sueltos, siendo los del Zamora:"Batallón nº 19"" y "Batallón nº 20".
Pasa en 1824 a llamarse "Regimiento de Infantería Zaragoza nº 7", para recuperar su nombre en 1828 como "Regimiento de Infantería Zamora nº 7" y "Regimiento de Infantería Zamora nº 8" en 1833. En 1931, fusionado con el Regimiento Isabel la Católica se le dota de la denominación de "Regimiento de Infantería nº 8", hasta que en 1935 recupera su anterior nombre como "Regimiento de Infantería Zamora nº 8". En 1939 se reorganiza como "Regimiento de Infantería de Montaña nº 29", hasta que en 1943 vuelve a reaparecer, en la ciudad de Orense, con el nombre de "Regimiento de Infantería Zamora nº 8". Tras un breve plazo de tiempo en el que en 1960 se le conoce como "Agrupación de Infantería Zamora nº 8" en 1963 vuelve a recuperar su nombre de "Regimiento de Infantería Zamora nº 8". Es disuelto definitivamente en el año 1985.