Il Castello dell'Imperatore è un esemplare unico di architettura sveva nell'Italia centro-settentrionale.
Realizzato da Riccardo da Lentini negli anni dopo al 1240, costruito dove sorgeva originariamente il castello degli Alberti.
È composto da lati di circa quaranta metri con quattro torrioni, 1 per ogni angolo, e altre torri situate verso la metà dei lati, 4 essendo a pianta quadrata.