La primera referencia fiable sobre esta población aparece en las Relaciones Topográficas de Felipe II, del año de 1.578, que están recopiladas en varios tomos que hacen referencia al Reino de Toledo. En ellas se hace mención al nombre original de la población que, al parecer, era El Castañal.

Castañar de Ibor no siempre ha pertenecido a Extremadura, ya que su jurisdicción y término pertenecieron a Talavera de la Reina, de la provincia eclesiástica arzobispal de Toledo. Por ello, su alcalde, regidores y mayordomo eran nombrados por el pueblo de de Castañar pero con la aprobación de Talavera. Además, no poseía encomienda ni tenía escudo.

La localidad fue fundada por Fernán Pérez hacia el final del siglo XV. Se dice que el evento fundacional tuvo lugar 180 años antes, en torno a 1.498. Apoca en la que se había fundado el Honrado Concejo de La Mesta y en los que las sierras de Las Villuercas y Los Ibores eran refugio de bandidos, de los que había que defenderse. Esta era una de las rutas de la trashumancia, que atravesaba las serranías hacia Orellana la Vieja. Este parece ser el origen de la localidad: la necesidad de defender a las cabañas de ganado del ataque de los bandoleros de la zona.

ACTIVIDAD INDUSTRIAL

De la riqueza de sus tierras da cuenta el hecho de que existan documentos que hablen de actividad minera hacia el año 1.670. Mas tarde, el duque de Alba, propietario mayorista de estos territorios, impulsó una pequeña industria, explotando las ferrerías del río Ibor. Existen documentos que hablan de explotación minera y sociedades hacia mediados del siglo. XIX, sobre todo de plomo argentífero.

Hoy uno de sus grandes tesoros está en el subsuelo. Se trata del monumento natural de la cueva de Castañar de Ibor, descubierto por un agricultor en 1.967 cuando araba con su mula y ésta se hundió en el suelo; la cueva es única en su género por sus cristalizaciones. Junto a la cueva se ha construido un centro de interpretación que contiene maquetas, vídeos y todo tipo de paneles explicativos sobre la cueva y la comarca de Ibores.

Del resto de su patrimonio destaca el pequeño poblado de La Avellanada, del siglo XVI, restaurado hace unos años; las pinturas rupestres del Aguazal, del III al I milenio a.C.; el Torreón de los Moros, un eremitorio islámico del s. XI; el Castillejo, en lo alto del cerro del mismo nombre, una fortaleza y poblado islámico de los siglos X al XII. En el caso urbano, de su arquitectura religiosa, cabe destacar la ermita de San Benito Abad, del siglo XV, donde sobresale la imagen del Cristo de la Avellaneda y otra de un Cristo crucificado, además del majestuoso altar y los cuadros.