Valderrobres, y el valle del Matarraña en general, es un espacio geográfico que históricamente ha operado como nexo entre las tierras del interior y las de la costa mediterránea. Por ello la historia de estas tierras es una historia de relación, de contacto entre actitudes y gentes diversas que han enriquecido el bagaje de experiencias colectivas de los habitantes de la zona.

El término municipal de Valderrobres ha estado habitado desde el período Neolítico (3.000 a.C.) hasta la actualidad, como se demuestra en los diversos yacimientos arqueológicos encontrados y concretamente el poblado ibero-romano de Torre el Gachero, del cual se han extraído útiles domésticos y materiales que han fijado un periodo de población desde el siglo V a.C hasta el III d.C, en plena romanización.

Aunque el término municipal estuvo poblado desde antaño, no puede decirse lo mismo del lugar que hoy en día ocupa el casco urbano de Valderrobres, ya que no se tienen noticias ni restos arqueológicos que puedan atribuirse a un período anterior a la reconquista. Un documento de 1175 demuestra que el entonces "Vallem de Roures" era un pequeño lugar musulmán de los reconquistados en 1169 por el rey Alfonso II de Aragón. Hasta entonces, este territorio era conocido como Peña de Aznar Lagaya hasta que fue otorgado en feudo por el rey Alfonso II al obispado de Zaragoza perpetuamente que presidía por entonces D. Pedro Torroja. Este dominio lo conservaría el obispado hasta 1811.

En 1183 le fue concedida a este territorio su carta de población y el ser regido por el Fuero de Zaragoza. En 1390 el rey Juan I autorizó fortificar y amurallar la villa, orden confirmada ocho años después por Martín el Humano. Los Tenentes más importantes, o al menos los que dejaron mayor impronta sobre todo en el Castillo, fueron los arzobispos García Fernández de Heredia y Dalmau de Mur y Cervellón.

En la prisión del castillo estuvo Ximeno Capdete, prior de la Seo, que tenía graves cuestiones con el arzobispo Heredia, al cual le acusó en las Cortes habidas en Zaragoza por el rey Martín el Humano, de que había derribado la casa y tomada la Hacienda. Al final Capdete terminó prisionero en el castillo de Valderrobres, pero se escapó por el "pou de la ma peluda", donde según la tradición popular hay un pozo con un pasadizo que va hasta el río, en el cual un hombre se ocultó de la justicia en el siglo XVII, después de matar a una mujer. Para no ser descubierto, su esposa, que le llevaba la comida, se inventó la historia de que en el pozo vivía un ser con una enorme mano peluda. La historia alcanzó su objetivo y el temor hizo que nadie se acercara.

El aumento de la población propicio la construcción de la iglesia y la extensión del perímetro amurallado del pueblo que en años siguientes rebasaría el cerco de murallas, hasta que en extramuros se crearon, en los siglos XV y XVI, los barrios de Capdevila, Solana y Arrabal del Cementerio junto a sus respectivos portales.