Breve historial del edificio: El Alcázar de Toledo es una fortificación en la parte más alta de la ciudad lo que le confiere una importante situación estratégica. Ya en el siglo III fue un palacio romano, en 568 el rey visigodo Leovigildo estableció su capital, en la Edad Media los reyes construyeron y reformaron el palacio como Alfonso X el Sábio que creó la Escuela de Traductores de Toledo y mando construir las torres de planta cuadrada en las cuatro esquinas.
Carlos I mandó reformar las instalaciones a los arquitectos Alonso de Covarrubias, Francisco de Villalpando y Juan de Herrera creando un edificio cerrado y compacto. 
En 1710 durante la guerra de Sucesión, en 1810 durante la guerra de la Independencia y en 1887 sufrió graves incendios que lo destruyeron casi por completo.
Tras su restauración en 1878 se instaló en el Alcázar la Academia de Infantería de Toledo.
Durante la guerra civil estuvo a las órdenes del coronel Moscardó que mantuvo el puesto tras un asedio que duró 70 días del 22 de julio al 27 de septiembre de 1936 en que llegó la ayuda de las tropas al mando del general José Enrique Varela. Al día siguiente fue visitado por el general Francisco Franco convirtiendo el asedio y la posterior victoria del frente Nacional en un hecho de propaganda contra el bando republicano.

Desde 2010 es la sede del Museo del Ejército, conserva el despacho del general Moscardó que es la única estancia que se conserva tal y como estaba el 28 de septiembre de 1936.
También desde 1998 es la sede de la Biblioteca de Castilla La Mancha.