En su torre se ubicó una veleta denominada La Giraldilla, escultura creada por Jerónimo Martín Pinzón en honor a Isabel de Bobadilla y Peñalosa, y que constituye la escultura fundida en bronce más antigua de Cuba, actualmente símbolo de la Ciudad de La Habana.1​ Se dice que la escultura la dedicaron a Isabel porque se dice que se paraba en lo alto de la torre mirando al horizonte esperando las naves que traerían de regreso a su esposo Hernando de Soto. Entonces un día Isabel recibe la noticia que su esposo murió e Isabel muere de dolor.

En realidad Isabel no murió de amor como dice la leyenda, sino que se fue de regreso a España aunque sufrió mucho por la pérdida de su esposo.2​ También Isabel no esperaba a su esposo desde el castillo por qué en aquellos tiempos el castillo aún no existía. Aquella leyenda de amor sobre la escultura formó parte de la idiosincrasia de los habaneros. Actualmente la giraldilla que vemos en la torre una réplica y la original se ubica dentro de una de las salas del castillo. La escultura también es una réplica del Giraldillo de Sevilla. Por ser símbolo de La Habana, la silueta de la Giraldilla aparece en varias pinturas sobre la ciudad, aparece en la marca del ron cubano Havana Club, en el periódico cubano Tribuna de la Habana y una forma similar a esta en el logotipo del equipo Industriales de la Serie Nacional de Béisbol de Cuba.