El Castell de Montsonís va ser construït l'any 1024 per ordre del Comte d'Urgell, Ermengol II. Al llarg dels segles, va ser propietat de diversos llinatges per arribar, -sempre de pares a fills- a Carles de Montoliu, Baró de l'Albi, trentè Senyor de Montsonís i actual propietari del Castell.

Del majestuós edifici destaquen la magnífica façana exterior, presidida per la torre d'homenatge, l’oratori privat, la cuina, els bancs festejadors, el forn de pa, la presó, el celler, l'habitació reservada als pelegrins, la sala d'armes, la sala dels escuts i la resta de sales on s'exposen tapissos i records d'altres èpoques.