A medio camino entre la Fortaleza de la Punta y el Torreón de la Chorrera se construyó el Torreón de San Lázaro, ubicado en la Caleta de San Lázaro y a pocos metros del Hospital de San Lázaro, el leprosorio de la ciudad en aquella época. Dicho torreón fue levantado en 1665, por el ingeniero Marcos Lucio. El torreón sólo vio acción durante la Toma de La Habana por los ingleses en 1762.

En la década de 1920, se rellenó la caleta, debido a la construcción del Malecón habanero, y el torreón quedó in