En la plaza de San Mateo de Cáceres, en la confluencia con la calle Ancha, en un entrante, encontramos una preciosa casa de estilo gótico. Algunos autores han atribuido su construcción a Lorenzo Fernández de Ulloa, Camarero del rey Enrique II; pero con toda certeza el que vivió en ella fue su hermano Diego García de Ulloa conocido por “El Rico”, señor de Media Cacha. Fue regidor de Cáceres y a él le debemos la fundación en 1472, a través de un hecho o leyenda milagroso, del Monasterio de San Francisco el Real, situado extramuros de la ciudad en la parte sur. Fue enterrado en dicho monasterio a su muerte en el año 1485. 

Fue uno de los nobles más importantes de su época ocupando el cargo de Comendador de Alcuéscar de la Orden de Santiago y tuvo el honor de entregarle las llaves de la ciudad a la Reina Isabel la Católica cuando nos visitó en el año 1477.

Casó en primeras nupcias en 1427 con su parienta Mencía Pérez de Ulloa, hija de Fermín Pérez de Ulloa y de Gracia Carvajal, señores de Malgarrida. Tuvo cuatro hijos: Gonzalo de Ulloa Pérez de Ulloa, Álvaro de Ulloa Pérez de Ulloa, Jimena Gómez de Ulloa Pérez de Ulloa y Leonor de Ulloa Pérez de Ulloa.

Los Ulloa es una familia oriunda de Galicia que vinieron con Alfonso IX a la Reconquista de la Ciudad y se asentaron en Cáceres en el siglo XIV. Del primero que nos consta su avecindamiento fue Sancho Sánchez de Ulloa, padre de Diego, Lorenzo y Fernán.

En la fachada del palacio de estilo gótico del siglo XV, de sillería granítica, podemos apreciar todos los elementos que integran las fachadas de la mayor parte de las casas y palacios de la Ciudad Monumental Cacereña.

La portada en arco de medio punto con grandes dovelas hasta el suelo. Encima apreciamos una ventana con adorno denticulado gótico en el dintel, perfilada por dobles columnas. Rodeando a la ventana encontramos dos escudos con las armas de los Ulloa (Escudo ajedrezado de quince piezas, ocho de oro y siete de gules (rojo vivo) cargadas de tres fajas de plata cada una) y uno con las armas de Carvajal (Banda cruzada de color sable (negra). Todo ello enmarcado por un alfiz que en su parte superior aparecen dos gárgolas que constituyen un ornamento escultórico que eran canales para las aguas de lluvia y evitaban las humedades en la fachada.

En las fachadas laterales encontramos ventanas góticas con preciosos enrejados y escudos de las familias Ulloa y Carvajal.

Esta casa ha sido plató de varias películas entre ellas 'La Lozana Andaluza' y se han alojado en ella en diversas ocasiones los Reyes de Bélgica con sus hijos, grandes amigos de la actual propietaria del inmueble, Dª Pilar Oriol.