Le plus grand port de l’ile d’Elbe, Portoferraio, étant désormais sous sa coupe, le duc Cosme ler de Médicis décide de le protéger comme il se doit par un puissant ensemble de fortifications. Les travaux commencent le 3 mai 1548, sous la direction de l’architecte Bellucci, assisté ensuite par Camerini. Ils vont bon train et, en 1555, Portoferraio est la seule ville de l’ile à pouvoir résister au terrible Dragut. En 1561, pour lutter contre les pirates turcs, le duc fonde l’ordre des Chevaliers de Saint Stéphane, basé entre autres à Portoferraio, mais son projet de créer une grande flotte susceptible de concurrencer les autres puissances maritimes ne verra jamais le jour: trop cher pour le petit duché toscan.
La confirmation naturelle de la baie de Portoferraio, avec son éperon rocheux qui s’avance en protégeant le port, facilite la construction des ouvrages défensifs. Dans la partie la plus haute, sur la ligne de faîte, on érige deux forteresses, le Forte Stella et le Forte Falcone, tandis que le port, profond et en fer à cheval, est ceint d’une haute muraille, percée d’une seule porte (la Porte a Mare) et protégée à l’autre extrémité par la Torre del Martello ou Torre della Linguella. L’entrée du port est, quant à elle, barrée par une lourde chaine. À partir de 1558, on fortifie également le « front de terre » avec des bastions et une série terrasses dotées de puissants murs, travaux auxquels participe le grand architecte de cour Bernardo Buontalenti. Enfin, au YVIIe s. on aménage le fossé entre les bastions et le reste de l’ile: Portoferraio est désormais une « ile imprenable ».
Le résultat est stupéfiant: c’est bien une ville inexpugnable qui fera dire à l’amiral Nelson, expert en la matière, que Portoferraio est « le port le plus sûr au monde ».
Entre-temps, les Espagnols qui gouvernaient Porto Longone (l’actuel Porto Azzuro), construisent la puissante Fortezza di San Giacomo. Réalisée par Don Garcia de Toledo en 1603 sur le modèle de la forteresse d’Anvers, avec ses bastions et son plan en étoile. C’est aujourd’hui une prison dont on ne peut visiter qu’une partie. De l’autre côté du golfe de Mola, où se trouve Porto Azzuro, se dresse la Fortezza del Focardo. Plus petite et plus massive, cette forteresse fut bâtie en 1678 par Alessandro Piston pour le vice-roi de Naples, Don Fernando Gioacchino Foscardo. À la différence de Portoferraio, Porto Azzuro servira de repaire aux corsaires napolitains, espangnols, anglais et français, contre la flotte musulmane.