Construit du XIIIe au XVe siècle, Roussillon comportait huit tours, trois corps de logis, une chapelle et un cloître. Ce fût une forteresse doublée d’un château d’agrément. La forteresse actuelle a été vraisemblablement édifiée sur des vestiges plus anciens, au VIIIème siècle : Roussillon aurait été une place forte du Duc de Waïffre, duc d’Aquitaine, dans la guerre qui l’opposa à Pépin le Bref.
Au XIIIe siècle, ce château médiéval a appartenu à la famille Roussillon, famille dont il tire son nom. Roussillon qui s’orthographie quelquefois Roussilhe dans les documents anciens, peut aussi vouloir dire « terre brûlée », qui fait probablement référence à la terre aride de cette région des Causses.
Au XIVe siècle, la seconde guerre de Cent Ans oppose Français et Anglais. Raymond d’Antéjac, seigneur de Roussillon, reconnaît au roi d’Angleterre des droits à la couronne de France, et ouvre son château aux Anglais en 1355.
Au XVIe siècle, Roussillon devient une place forte du protestantisme, les seigneurs qui l’occupent ayant épousé la cause des Réformés pendant les guerres de religion qui marquèrent le siècle.
En 1632, Jean III de Gontaud-d’Oriolle reçoit le roi Louis XIII qui, de retour de Toulouse fit étape à Roussillon pour déjeuner, dans la grande salle de réception actuelle, appelée Chambre de Madame.
En 1728, Antoine-François de Gontaud-Cabrerets qui possède, outre Roussillon, le château de Cabrerets où il préfère résider, afferme la seigneurie. La Chambre de Madame est divisée en trois pièces par des cloisons pour servir de logement aux fermiers. Délaissé par les seigneurs, Roussillon a perdu ses fastes.
Si le Château lui-même est en ruines, les terres de l’environnement constituent une source de richesse. Le mamelon que domine la vieille forteresse est couvert de vignes. Un document de 1766 nous apprend qu’on y récolte « du vin de table et du vin noir pour l’étranger » et « qu’il faut faire attention que le vin de Roussillon est d’une qualité bien supérieure à celui de Cabrerets ».
A la révolution, comme Roussillon ne représente plus un symbole de puissance, il n’est pas victime de la vindicte populaire. Mais sa ruine s’aggrave au début du XIXe siècle lorsque les héritiers du Maréchal de Gontaud-Biron le cèdent à l’intendant de la propriété qui le démantèle systématiquement pour vendre les pierres qui serviront à construire les maisons des villages des environs.
En 1958, la famille Mailhol achète Roussillon et entreprend sa restauration. A cette époque, le château est enterré jusqu’au niveau du premier étage et parfois même du second par des décombres. On peut à peine deviner son architecture. D’énormes travaux ont été réalisés, pour rénover trois tours, deux corps de logis et la Chambre de Madame, qui a retrouvé son faste d’antan. Jean-François Mailhol a œuvré sans relâche pour faire vivre le château, en l’ouvrant à des événements privés tels que des mariages et des fêtes, offrant ainsi à de nombreux invités l’opportunité de découvrir la beauté et l’atmosphère unique de Roussillon.
C’est dans ce cadre que Charlie et Julien Peignart découvrent le lieu et s’y marient en 2019, séduits par son charme. Deux ans plus tard, en 2021, Jean-François leur confie son souhait de transmettre le domaine. En janvier 2023, Charlie, Julien et leur fils Marcel tournent une nouvelle page en quittant Paris pour s’installer au château, décidés à prolonger l’histoire et à faire perdurer l’héritage de la famille Mailhol.
