Pour se protéger contre les terribles pirates musulmans, normands et grecs, à partir du VIIIe s et ensuite, à compter du XVIe s., pour lutter contre les Génois, les Catalans, les Napolitains et les Français, et encore pour résister aux corsaires anglais et hollandais, l’ile d’Elba se dote d’un bon système défensif, surtout grâce aux Pisans et à la seigneurie des Appiani. Mais ces fortifications s’avèrent insuffisantes face à des pirates tels que Barberousse et Dragut qui, entre 1534 et 1555, prennent les forteresses et saccagent les villages.
La côte de l’ile est disséminée de tours de guet. Les deux grandes plages de Marina di Campo et Marciana Marina sont surveillées par deux tours cylindriques, presque jumelles: la Torre della Marina, construction pisane du XIe s., et la Torre Pisana, dite également Torre Saracena, sans doute du XVe s. Derrière Marina die Campo, près de San Piero, depuis le XIe s. se dresse la tour quadrangulaire dite Torre di San Giovanni, bâtie par les Pisans sur une roche de granite d’un seul bloc et dont l’un des angles est en appui sur une meule de pierre. À Rio Marina on trouve la Torre Medicea, une tour hexagonale qui, malgré son appellatif « médicéenne », fut construite par la famille des Appiani en 1534. Elle fut rehaussée d’une tourelle carrée au XIXe s. pour accueillir l’horloge du village.
La forteresse pisane en ruines, dite Fortezza di Luceri ou Santa Lucia, fut érigée pour défendre le golfe de Portoferraio; tout comme le Castello del Giogo qui protégeait les abords de Rio Marina du haut du Monte Giove. Ces deux fortifications édifiées en position dominante, furent détruites par le pirate turc Dragut en 1552.
Au sommet d’un éperon rocheux de la dorsale nord-est de l’ile se dresse le château de Volterraio, « le repaire des vautours ». Il fut bâti au-dessus d’un village étrusque, fortifié par les Romains puis par les Pisans et les Espagnols qui y construisirent aussi une chapelle baroque. De ses remparts, la vue époustouflante se déploie sur toute l’ile, l’archipel, la côte toscane et la Corse.
Les enceintes urbaines datant des Pisans et des Espagnols ont pratiquement disparu mais on peut encore voir la forteresse pisane aux quatre donjons de Marciana, restaurée par les Appiani, et celle de Sant’Ilario in Campo, bâtie elle aussi par les Appiani. Très intéressantes, les églises fortifiées étaient l’ultime rempart contre les pirates, comme l’église San Niccolò à San Piero in Campo ou celles de San Nicola à Poggio et de Santi Martiri Giacomo e Quirico à Rio nell’Elba, fortifiées par les Appiani au XVIe s. ou par les Pisans au XIe s.