El edificio donde tiene la sede Caritas Interparroquial de Trujillo data del siglo XVIII. Se llamó Casa de las Banderas y en 1814 un convenio municipal acordó que se transformara en cárcel, tras una obra de remodelación de 62.900 reales. Dos años más tarde pasó a manos de Joaquín de Loaysa. Seguidamente perteneció a al Marqués de la Conquista, Jacinto de Orellana. En 1982, el edificio fue comprado por un particular, quién lo donó al obispado de Plasencia, con la condición de que en sus instalaciones estuviese la sede de Cáritas Interparroquial de Trujillo, como así ha sido hasta la actualidad.
