El castillo es el ejemplo más representativo de los castillos góticos de carácter señorial construidos por el mecenazgo del arzobispado de Zaragoza. Se trata en realidad de un palacio fortificado, residencia señorial sin apenas función defensiva. Aunque hay evidencias de la construcción de un castillo anterior, el que hoy en día se conserva fue construido por el Arzobispo García Fernández de Heredia, y posteriormente ampliado y modificado por otro Arzobispo, Dalmau de Mur y Cervellón, en su parte superior.

El escudo de armas de García Fernández de Heredia esta representado por siete castillos, o con la variante de tres solamente, y lo encontramos repartido por el castillo, destacando en la sala de las cortes.

El otro arzobispo, que participó en la construcción del castillo, Dalmau Del Mur Y Cervellon fue un gran mecenas que financió la construcción del salón del palacio arzobispal y del castillo de Valderrobres. Su escudo representa una muralla con sus cinco almenas, la central presidida por una cruz. En el castillo lo encontramos en las dos habitaciones que dan a la parte trasera, donde los documentos dicen que estaban las despensas de la cocina. También lo encontramos en uno de los ángulos de la muralla del patio de armas, en la calle Bonaire, lo que certifica que aquella muralla la hizo construir él. En la iglesia también aparece el escudo de don Dalmau en un muro que sirvió para cegar el paso de la tribuna al castillo a través de la muralla de la parte trasera de la iglesia.

Hernando De Aragón, nieto de Fernando el Católico, fue otro ilustre que durante su mandato hizo construir unos pilares de piedra para abrir sobre ellos la entrada de la sala de las chimeneas y de la cocina del castillo.