El Real Observatorio de la Armada se eleva sobre el cerro de Torre Alta, visible desde toda la Bahía de Cádiz. El edificio constituye un bello ejemplo de arquitectura neoclásica, de gran simplicidad y pureza de líneas. Su sobria austera fachada se basa en el ideal de la arquitectura grecorromana, no hay ningún elemento superfluo, todo es orden y claridad. El trazado de su planta de 1791 se debe a Gaspar de Molina y Zaldivar, Marqués de Ureña. La primera piedra se colocó el 3 de Octubre de 1793, y entró en funcionamiento en 1797, no un año después como afirma la bibliografía en general. 
Sus antecedentes se hallan en el Real observatorio de Cádiz fundado por Don Jorge Juan en 1753. El insigne marino y científico Jorge Juan, Capitán de la Compañía de Guardias Marinas desde 1751, propuso al Marqués de la Ensenada la idea de instalar un observatorio en el Castillo de la Villa (castillo del Pópulo), sede de la Academia de Guardias Marinas, a una altura superior a la de los edificios de la ciudad. Con ello se pretendía que los futuros oficiales de la Marina aprendiesen y dominasen una ciencia tan necesaria para la navegación como era entonces la astronomía. El "Real Observatorio de Cádiz", se crea como una dependencia anexa a la Academia de Guardias Marinas. A partir de entonces, el nuevo observatorio, el más meridional de Europa, fue ganándose un merecido prestigio en el contexto astronómico europeo, gracias a los importantes trabajos desarrollados por personajes como Luis Godin o Vicente Tofiño y al apoyo técnico y científico prestado a las expediciones ilustradas del último tercio del siglo XVIII. 
Debido a las deficiencias del Observatorio gaditano, al traslado del Departamento marítimo a la Real isla de León y a la creación de la nueva Población de San Carlos, se acordó edificar un nuevo observatorio en esta población pero la necesidad de un lugar elevado hizo que finalmente se construyera en el cerro de Torre Alta.