El Castell de l'Albiol està situat al cim d'un turó a 867m,, sobre el poble de l'Albiol, en un dels contraforts meridionals de les muntanyes de Prades.

Es format per una gran muralla, amb torres quadrades i dues de rodones i rengles de sageteres; resseguint el turó. Dins el recinte, entre d'altres vestigis, hi ha dues construccions rectangulars en cadascuna de les quals queden solament tres murs. La central es prou alta, potser un 8 metres i la mes septentrional fa sols uns 3'5 metres d'alçada màxima. En alguns trams de les parets encara es veuen rengles d'una forma de construcció anomenada ópus spicatum.

Seguint cronològicament la historia, el 1158 el comte Ramon Berenguer IV cedia a Joan de Martorell el lloc de l'Albiol amb la condició que el repobles i el fortifiques.

Joan de Martorell traspassà els seus drets a la Seu de Tarragona el 1164 i el mateix any, el bisbe Hug de Cervelló, donava tot el terme en feu de l'Església a Guerau d'Avinyó.

El castell de l'Albiol, esdevingué, juntament amb els castells de Siurana i d'Escornalbou, un dels pilars necessaris del dispositiu de la defensa mora, aculada a les Muntanyes de Prades. Aquest castell representava a la vegada la primera posició defensiva i un magnífic observatori de la banda llevantina.

El castell va ser reconstruït, o potser només restaurat l'any 1164; paral·lelament doncs amb el repoblament i l'exercici de les activitats senyorials.

Alguns historiadors sostenen la tesi que, en l'emplaçament de l'actual castell, hi hauria hagut una talaia pre-romana, que hauria subsistit fins que els sarraïns hi haurien aixecat el seu primer bastió defensiu.

Una de les darreres batalles en aquest sector, un combat de retirada, hauria estat lliurat al punt on les tropes cristianes que pujaven des del' Aleixar trobaren a les sarraïnes, el Coll de la Batalla, topònim que encara es enregistrat.

En la guerra civil del segle XVII, l'anomenada guerra dels segadors, fou manat enderrocar com a represàlia per llur fidelitat a la terra, per la venjança castellana. I foren els selvatans els encarregats d'aterrar-lo fins que no en restés res, ni pedra sobre pedra.

L'edifici més antic és la torre mestre, una construcció de planta rectangular, segurament amb un petit annex, situada al punt més alt del planell on es va construir el castell. Aquesta torre pot ser datada en el segle XII

Les restes actualment visibles del castell de l'Albiol són formades per una torre de planta rectangular, per dos edificis annexos i per un recinte ampli que inclou diverses bestorres i torres de flanqueig.

El seu emplaçament constitueix un excel·lent mirador, des d'on es pot gaudir d'una impressionant panoràmica. El Castell de l'Albiol ens ofereix una meravellosa panoràmica paisatgística que ens omplen de sensacions i somnis d’èpoques passades