El número 2 de la plaza de San Mateo y el número 4 de la calle Condes, dos edificios anexos sobre el solar de los Ulloa, han sido el eje de la polémica en estas últimas semanas. Mientras que los promotores y arquitectos han presentado un proyecto en base a la escasa protección que tienen estos edificios en el Plan Especial, sólo ambiental, los detractores de la propuesta arquitectónica defienden que, a pesar de ello, no pueden derribarse, únicamente rehabilitarse y adaptar su interior.
El número 4 de calle Condes acogió durante años la delegación de los Servicios Territoriales de Economía de la Junta. Es un caserón de comienzos del siglo XIX construido donde estuvieron las viejas caballerizas y dependencias de la servidumbre del palacio de Los Golfines de Arriba. Lo único antiguo que conserva es la puerta por la calle Olmos y alguna bóveda. Su interior está muy reformado y alterado. Este edificio es propiedad de la Junta y se cedería su uso para el hotel. Tiene una superficie de unos 400 metros cuadrados.
El segundo edificio afectado por la intervención es una casa construida en 1980 sobre otra antigua por la familia López-Montenegro. Los escudos de su fachada fueron colocados en 1988, uno es antiguo y otro moderno. Este inmueble es propiedad del restaurante, que lo adquirió en febrero del 2005 por unos 750.000 euros. Tiene una superficie de 520 metros cuadrados.
