L'Albiol és documentat a la segona meitat del segle XII , el primer document; que es coneix, és la carta de repoblació atorgada el 25 de juny de any 1158 pel compte de Barcelona, Ramon Berenguer IV.

Però tot sembla indicar que hi hagué una ocupació anterior. El mateix origen del nom de l'Albiol o troballes de destrals de pedre al municipi aixi com l'existència de coves amb pintures.

Moreu sosté la tesi que en l'emplaçament de l'actual castell hi hauria hagut una talaia preromana que hauria subsistit fins que els sarraïns foren empesos cap a les Muntanyes de Prades pels repobladors catalans, moment en què hi haurien alçat el seu primer bastió defensiu.

En el municipi han perdurat llocs relacionats amb el sarraïns com poden ser La Ràpita i el turó denominat La cara del moro.

La Ràpita ,aquest nom correspon a una casa fortificada, era com un convent on vivien uns monjos guerrers, la seva finalitat era la vigilància i defensa de les fronteres.

La Cara del Moro es un indret a la vall del mas Vallverdú, molt a prop del coll de la Batalla, el seu nom li ve que per la vall baixaven els sarraïns al encontre dels cristians