El 5 d'octubre de 1164, l'arquebisbe Hug de Cervello traspasava l'Albiol a Guerau d'Avinyó, que permutà el seu nom pel de Guerau d'Albiol "per tal que ell i el seus tinguin l'Albiol per l'esglèsia de Tarragona i per nós i els nostres successors" diu textualment l'escriptura.

Guerau d'Albiol fou el senyor de l'Albiol 31 anys, fins el 11 de novembre de l'any 1195, en que va morir, fou succeït pel seu fill Dalmau d'Albiol

El 1217 Dalmau d'Avinyó o de l'Albiol i la seva muller Berenguera, hereus de la infeudació del 1164, vengueren tots els seus drets al paborde de Tarragona, Ramon de Sant Llorenç, que els comprà amb diners del comú de la Selva, motiu pel qual el seu successor Ferrer Pallarès cedí als selvatans, el 1248, els emprius de llenyes, aigües, menes i pedres de l'Albiol.

"Jo, Dalmau de l'Albiol, i jo Berenguera, muller seva, no coaccionats ni de cap manera induïtsa fer-ho, sinó guiats per nostra espontània voluntat i gratíssima llibertat; per nosaltres i per tot els nostres descendents presents i venidors i snese cap mena de frau ni d'engany vostre, venem a vós, senyor Ramon de Sant Llorenç, paborde de Tarragona, i a tot el Capítol de l'Esglèsia esmentada, tots el honors, possessions, fermeses, estatuïments, establiments, lleuda, cavalcada, bovatge,

Des de 1217 el senyor de l'Albiol fou el Paborde de Tarragona fins l'any 1410 pasa sota l'autoritat directe de l'arquebisbe.

L'any 1821 amb l'desamortització i d'altres lleis de la primeria del segle XIX, l'Albiol deixà de dependre de l'arquebisbe de Tarragona.