El orígen de la localidad Es Castell procede de un nucleo urbano creado en torno al castillo de San Felip del siglo XVI y con el establecimiento de una importante colonia militar inglesa, se fundó como Georgetown a finales del siglo XVIII siguiendo unas directrices urbanísticas con una plaza central rodeada de manzanas cuadradas de edificios.
La ciudad ha tenido varios nombres además de San Felip, Georgetown, en 1782 las tropas españolas le pusieron Real Villa de San Carlos y desde 1988 se adopto su nombre más popular Es Castell.

Los cuarteles de Duque de Grillon (Intendencia y automovilismo), Conde de Cifuentes (ingenieros) y Cala Corb (sede de la Plana Mayor de Artillería de Costa, actual museo militar) junto al edificio de la Casa Consistorial fueron construidos a finales del siglo XVIII durante la dominación británica y conforma el eje central de la ciudad en la plaza de La Esplanada.
Los cuarteles en la actualidad sin uso militar desde mediados de los 90, gozan de la protección urbanística del ayuntamiento al tener la consideración de Patrimonio Histórico Municipal.
El Duque de Grillón es propiedad del ayuntamiento y sus dependencias son utilizadas para uso de diferentes actividades de los vecinos.