Su origen es el Real Museo Militar creado en 1803 con una función didáctica para las académias militares que evolucionó en 1827 disgregandose en museos especializados y funcionando de manera independiente así se crearon primero el de Artillería y el de Ingenieros y posteriormente el de Intendencia (1885), Caballería (1889) y Infantería (1908).

De 1803 a 1816 ocupó el Palacio de Monteleón que también era Parque de Artillería quedando muy dañado durante la Guerra de la Independencia se trasladó al Palacio de Buenavista hasta 1841 en que se destina el palacio a Ministerio de la Guerra por lo que primero el Museo de Artillería se traslada al Palacio del Buen Retiro y más tarde el de Ingenieros al Palacio de San Juan.

En 1932 se inicia un proceso de integración de los ya existentes con la creación del Museo Histórico Militar añadiendo la Sanidad Militar que tendría continuidad tras la guerra civil estableciendose en el Palacio del Buen Retiro. Desde 2010 el Museo del Ejército se encuentra en el Alcazar de Toledo totalmente rehabilitado más un edificio nuevo anexo. Depende organicamente del Instituto de Historia y Cultura Militar que conforme a lo dispuesto en el Real Decreto 1305/2009, de 31 de julio, por el que se crea la Red de Museos de España, el museo del Ejército es uno de los Museos Nacionales de titularidad y gestión estatal, adscrito al Ministerio de Defensa.