Après l'effondrement de l'Empire romain, le stade est tombé en désuétude et une grande partie de son marbre a été pillée. En 1895, un riche entrepreneur finança sa restauration complète en utilisant un magnifique marbre blanc (kallos), d'où son surnom de « Kallimarmaro ». Mais comme la rénovation n'a été achevée qu'en 1900, une grande partie des tribunes pour les Jeux olympiques de 1896 étaient en fait des bancs en bois peints en blanc pour imiter le marbre.