El Castillo de la Torrecilla de Lagartera constituye otro monumento al abandono. En estado de ruina, la torre del homenaje ha perdido parte de su almenado, así como las ménsulas que sostenían sus balcones/matacanes. Ni siquiera se conserva la techumbre de la parte superior, y han caído algunos sillares de los muros, incluso la escalera de subida. Al menos se conservan los arcos y la techumbre de la planta baja.

Hacia el siglo XIV se levantó inicialmente la torre medieval como puesto de vigilancia y atalaya defensiva del enclave y de la actividad agropecuaria que allí se llevaba a cabo, tal y como se hacía en otros muchos asentamientos desde la Reconquista, según explica el historiador Samuel Rodríguez en la Lista Roja del Patrimonio, donde se encuadra este castillo desde 2014. La torre pasó a la familia Aldana, que amplió el conjunto durante los siglos XV y XVI con dependencias que circundarían la atalaya original, a modo de simbiosis entre fortaleza y casa-fuerte, convirtiéndose en el Castillo de la Torrecilla de Lagartera, con su primera torre como torre del homenaje.

Este baluarte, en manos privadas, forma parte del grupo de fortalezas dependientes de Cáceres ubicadas en las cercanías de la vega del río Salor (Zamarrillas, el Cachorro, las Herguijuelas...). Los expertos alertan de su desaparición paulatina por las inclemencias del tiempo y por el riesgo de desplome de los muros y la bóveda del interior del torreón.