Il y a 10 siècles, mentionnée en 1088, se dresse à l’emplacement actuel du château une demeure seigneuriale appartenant à Arssieu d’Olbion. Le sire Almanieu VI d’Albret va occuper un premier château en 1259. Amanieu VII, vers 1389, le reconstruit, vraisemblablement par la partie ouest. La partie nord, la plus intéressante, de style Renaissance et dont la galerie à encorbellement demeure aujourd’hui, est construite au début du XVIe siècle par Alain d’Albret le Grand et achevé sous le règne de Jeanne d’Albret. Les parties est et sud sont édifiées courant XVIe siècle. À la révolution, le château se compose de quatre corps disposés en quadrilatère relié à la ville au sud par un pont-levis protégé par deux tours. Le château est détruit par arrêté en 1793, épargnant seulement la partie nord de l’édifice, sa galerie d’arceaux surbaissés et ses chapiteaux ornés de sculptures de personnages et d’animaux. 
Le château fera l’objet de plusieurs rénovations au XVIe et au XVIIe siècle