Nach dem Zusammenbruch des Römischen Reiches wurde das Stadion nicht mehr genutzt und ein Großteil seines Marmors wurde geplündert. Im Jahr 1895 finanzierte ein wohlhabender Unternehmer die vollständige Restaurierung mit schönem (Kallos), weißem Marmor (Marmaro), daher der Spitzname Kallimarmaro. Die Renovierung wurde jedoch erst 1900 abgeschlossen, so dass viele der Zuschauertribünen für die Olympischen Spiele 1896 aus weiß gestrichenen Holzbänken bestanden, die an Marmor erinnerten.