La primera notícia que tenim d'aquest castell data del 1036. Apareix en el document de donació de la meitat del castell de Santa Linya a Santa Maria de la Seu fet pels comtes d'Urgell Armengol II i Constança.
Com el seu nom indica, Castelló de Farfanya deu el seu origen a una antiga fortalesa. Aquesta fortificació presenta una planta trapezoidal allargada d'uns 30 metres orientada d'est a oest, i feta de components naturals (guixos i margues).
Castelló de Farfanya fou conquerida el 1116 pel vescomte Guerau (II) de Cabrera. L'any 1190, el vescomte de Cabrera i d'Àger, Ponç (III), reconeixia al rei Alfons el Cast la soberania sobre la vila de Castelló. Jaume I s'apoderà dels castells d'Oliana, Linyola, Agramunt i, finalment, de Castelló de Farfanya. La rebel·lió durà fins el 1260. Set anys desprès, Àlvar d'Urgell féu testament i morí a Castelló. Jaume I, després de la mort d'Àlvar d'Urgell, es decideíx a ocupar el castell i la vila de Castelló.
L'infant Alfons, futur rei Benigne, cedí Castelló de Farfanya (1314) a la seva muller Teresa d'Entença, comtessa d'Urgell . El 1328, el comtat d'Urgell, amb Castelló, pertanyia a l'infant Jaume, fill d'Alfons i de Teresa. El seu successor, Pere d'Urgell, el 1408 cedí a la seva esposa Margarida l'usdefruit del castell i de la vila. La senyoria de Castelló fou encomanada a Lluís de Beaumont, comte de Lerín, llinatge que es va unir amb la casa dels ducs d'Alba, els quals exerciran el domini de la vila fins al 1835, quan fou incorporada a Balaguer.
Castelló formava part de la cadena defensiva que els sarraïns fortificaren (amb els castells de Corbins, Balaguer, Os, Algerri, Albesa, Llorenç i Santalinya) .
Els murs, les torres i les voltes aràbigues del castell s'han anat deteriorant irremissiblement. En la guerra dels Segadors, la fortalesa fou assetjada i presa per les forces del general Felipe de Silva (1644), després que els francesos l'haguessin abandonada. El castell patí també la guerra de Successió (1710) i l'ocupació francesa (1810-13), a més de la primera guerra Carlina, i durant els atacs dels carlins a la Vall d'Àger i a les guarnicions de Balaguer i de Castelló (1836-38) la fortalesa restà del tot malmesa i abandonada.
L'estat en que es troba actualment fa difícil una lectura funcional cronològica del conjunt, ja que presenta sectors molt malmesos per l'erosió, que ha provocat grans despreniments d'estructures.
Del que avui és visible, considerem com d'època islàmica una sèrie d'estructures defencives, conservades a la cara nord i est del castell, com dos trams de muralla i dues torres, una de ben conservada de planta semicircular, i l'altra bastant arrasada. Després tot el tram de muralla islàmica fou tapat per la muralla feudal posterior. De la torre feudal que devia ser de planta circular, se conserva només una part; com que és just a l'extrem del penya-segat se n'ha desplomat verticalment més de la meitat. A la banda sud d'aquest es conserva una gran cambra rectangular dita "la Cavaleria", pel resguard dels animals.
El conjunt fortificat de Castelló de Farfanya cal completar-lo amb dos elements aïllats del castell, però amb indubtable valor estratègic vinculat a ell. El primer element és format per les restes d'una torre islàmica situada a uns 80 m. al nord de la fortificació, ocupant la part alta d'un turó i que servia de torre de guaita i control de la vall de Farfanya. I una albarrana o torre situada fora dels murs d'un lloc fortificat.
Situació A dalt d'un turó, a sobre mateix del poble de Castelló de Farfanya
Accés : Un parell de cartells distribuïts pel poble ens indiquen perfectament el camí. Es pot deixar el cotxe a les darreres cases del poble. Tot seguit, una pista de muntanya ens permet pujar a dalt del cim en un quart d'hora.
Estat : Molt malmès. Lliurament visitable. Accessible amb precaució.