El Fuero de Alfonso IX mandaba claramente que sólo hubiera dos palacios en Cáceres, el del Rey y el del Obispo.

La fachada se levantó en 1587 por el obispo García de Galarza, quien la concibió como un gran arco de triunfo.