Está situado extramuros de la Ciudad Monumental en la plazuela del Duque y la calle de Sancti Spiritus, muy cerca de la Plaza Mayor. Presenta elementos góticos del siglo XV y renacentistas y manieristas del siglo XVI. Recibe esta denominación desde el siglo XVII cuando sus propietarios obtuvieron el título Ducal.

A finales del siglo XV se asentó en Cáceres D. Juan de Sande y Carvajal, miembro de la corte de los Reyes Católicos y de su hija Juana, nombrado primer Señor de la Enjarada; se casó con Dª Leonor de Saavedra. Su hijo D. Francisco de Carvajal fue el que reformó totalmente el Palacio. En la fachada principal de época gótica muy austera nos encontramos con una portada de medio punto adovelada, un escudo enmarcado por un alfiz (con las armas de los linajes Carvajal (Banda cruzada de color sable-negro-), Sande (En plata un águila de sable coronada de oro), Saavedra (Fajas jaqueladas) y Álvarez (Jaquelado de quince piezas: ocho en azur y siete de plata), vanos de época moderna y restos de una torre defensiva desmochada.

En la fachada lateral, la más antigua, podemos observar en la torre un impresionante matacán sobre ocho ménsulas o modillones labrados con bolas y dos escudos bajo alfiz y arco lobulado (con las armas de los linajes Álvarez, Saavedra, Carvajal, Sande, Trejo (En campo de oro, un castillo de piedra acostado de seis crecientes ranversados de plata, tres a cada lado; todo sobre ondas de azur y plata).

Podemos también apreciar en esta fachada lateral derecha dos escudos esgrafiados con las armas de las familias Álvarez, Carvajal, Saavedra, Trejo y un yelmo, encima de ventanas con antepechos góticos. En el interior se hicieron reformas en el siglo XVI bajo el mecenazgo de D. Francisco de Carvajal, Arcediano de Plasencia y Canónigo de Coria, que entre otras obras costeó la Iglesia de Santiago de los Caballeros, la Quinta de la Enjarada, etc. Nos encontramos con una bella portada con un atlante y una cariátide y un friso corrido con angelotes y el escudo de los Carvajales. Dispone de dos patios, uno gótico y el otro del siglo XVI, con antepechos labrados con grutescos.

Dentro del Palacio, en uno de los patios, existe la ermita de la Excomunión o del “Lignum Crucis”, dentro de la cual se encuentra un pequeño fragmento de la cruz en la que murió Cristo, una de las reliquias más importantes para el Cristianismo.

Una nieta de D. Juan de Sande llamada Dª Leonor de Saavedra y Carvajal, se casó con D. Gonzalo Gómez de Carvajal, cuyos sucesores fueron llamados los “Carvajales de la Casa del Duque”, dispusieron de grandes riquezas, siendo una de las familias nobles más importantes de Extremadura. Desde los años 80 del siglo XX ha sido residencia femenina de estudiantes regida por las Religiosas Hijas de Cristo Rey haciendo una profunda recuperación y renovación del edificio, hasta 2017 en que cerraron la residencia por su baja ocupación trasladándose a vivir a Malpartida de Cáceres. En la actualidad el inmueble está en proceso de venta siendo muy idóneo para negocios de hostelería, estando perfectamente situado junto a la Ciudad Monumental y a la Plaza Mayor de Cáceres.