El Castillo San Carlos de Borromeo fue construido en el siglo XVII para proteger al puerto de Pampatar del ataque de piratas y corsarios. Durante mucho tiempo fue la construcción militar más sofisticada de la isla.

Junto con el Fortín de la Caranta, ubicado al otro lado de la bahía, protegían con su fuego cruzado, el puerto y la aduana de Pampatar contra los ataques de los corsarios y piratas de la época, que asechaban la Isla de Margarita y que eran el azote de las poblaciones costeras en el Ma