Por decreto de 1478 parte de los judíos cacereños son obligados a marcharse fuera del recinto amurallado, probablemente porque al aumentar la población cristiana harían falta casas y lo más fácil era expulsar a los judíos de la aljama. 

Son trasladados al otro lado de la Plaza Mayor, a las actuales calles General Ezponda, Paneras, La Cruz, Plaza de la Concepción, etc. En esta época se calcula que había en Cáceres un total de 130 familias judías, aproximadamente unas 520 personas, del total de unos ocho mil habitantes que debió de tener la ciudad en los años ochenta del siglo XV.

En un solar que les entregó el Concejo en esta zona extramuros de la Ciudad Monumental Cacereña los judíos construyeron una sinagoga para celebrar sus ceremonias religiosas, como centro de oración, lugar de reunión, etc.

Y en este lugar de la Plaza de la Concepción donde se ubicó la sinagoga de la Judería Nueva, transformada en Ermita de la Cruz, se construyó el Palacio de la Isla, precioso edificio realizado en el siglo XVI, por la familia Blázquez-Mogollón, de estilo renacentista, presentando una bella portada de medio punto con dovelas hechas de granito con sillares almohadillados de gran resalte, acodadas y poligonales, con alternancia de dimensiones, entrantes y salientes, siguiendo el modelo de Sebastián Serlio y una espectacular antigua puerta de madera con clavos de hierro y herrajes.

En el piso superior hay que destacar una resaltada cornisa que alberga los escudos de la familia Mogollón (En oro dos osos pardos y puestos en palo. Bordura de gules --rojo vivo--, con ocho aspas de oro.) y Blázquez (En azur, una banda de oro, acompañada de seis bezantes --pieza circular que aparece en los escudos--de oro, tres arriba y tres abajo, todos bien ordenados), un balcón y una ventana con arco bilobulado y una leyenda: "Moderata durans. Nobilitat animus non acta parentum”, que hace referencia a los recelos que hubo en la Villa de Cáceres acerca de la nobleza de los propietarios del  Palacio. El edificio se remata con dos espectaculares gárgolas, que han sido motivo de leyendas.

En el interior encontramos un patio pequeño e irregular de tres pisos, al que entramos por un arco gótico. El piso inferior presenta tres bellos arcos escarzanos y dos columnas góticas. Apreciamos un bello escudo esgrafiado con varios linajes nobiliarios y una frase: “Vanitas vanitatum et omnia vanitas”: (Vanidad de Vanidades, todo es Vanidad).

El segundo piso, claustrado con antepechos es del mismo orden; y en el tercero existen unos arcos escarzanos en cada lado y una balaustrada. Como hemos señalado el Palacio cuenta con numerosos elementos de arte medieval mezclados con góticos que lo convierten en un edificio de gran riqueza artística.                                       

Si hubo incredulidad de la nobleza de la familia que construyó el palacio, nadie dudó de sus descendientes cuando ya en el siglo XVIII consiguieron el Marquesado de la Isla, llamándose el edificio como el Palacio de la Isla.

En la actualidad es propiedad del Ayuntamiento de Cáceres albergando las Concejalías de Cultura y Festejos, Archivo Histórico Municipal, Biblioteca, Salas de Exposiciones y Conferencias, etc. un Centro Cultural muy dinámico con importantes actividades de actos y exposiciones todo el año. Allí también se celebran las bodas civiles.