Il Castello dell’Imperatore è uno splendido esempio – unico nell’Italia centro-settentrionale – di architettura sveva dell’epoca di Federico II, realizzato dopo il 1240 su progetto di Riccardo da Lentini, sovrintendente alla costruzione di alcuni dei più importante castelli federiciani nell’Italia meridionale.
L’edificio, sorto dove sorgeva l’originario castello degli Alberti, divenne il quartier generale del vicario dell’Imperatore ed ospitò il figlio di Federico II° Re Enzo ed figliastro Federico di Antiochia che proprio da Prato mosse, nel 1248, alla conquista di Firenze.
Il castello ha pianta quadrata, con lati di circa 40 metri, potenziata agli angoli da torrioni anch'essi a pianta quadrata; altre torri si inseriscono a metà dei lati.
Le robuste murature, spesse due metri e mezzo, hanno paramento regolare in alberese e sono coronate da una omogenea merlatura ‘a coda di rondine’.
Di particolare suggestione il portale d’ingresso, bell'esempio della composita cultura federiciana, con richiami alla tipica bicromia toscana romanico-gotica, al gotico con i capitelli sormontati da leoni ed alla cultura classica con i due semipilastri che sostengono il coronamento a timpano.