Está formado por dos palacios originales, el solar de los de la Cerda y el alcázar de los Saavedra del Postigo. Su torre, almenada, fue levantada gracias a la autorización de Fernando el Católico en 1506, de ahí las dimensiones que ofrece el edificio y la existencia de dos patios nobles.