Le château de Pitray se trouve sur un territoire occupé depuis 10 000 ans, en témoigne un dolmen situé dans le parc du château.
Le château est dans la même famille depuis 26 générations.
On retrouve la première mention de la famille lors de l’achat en 1466 d’une parcelle de vigne de Saint-Emilion par Jehan de Las Simas, dit Simard. C’est-à-dire quelques années à peine après la bataille de Castillon qui signifia pour la région la fin de la guerre de Cent Ans, et le retour aux années de paix civile. C’est à cette époque qu’est érigé le premier manoir féodal de Pitray.
Au siècle suivant, il sera remanié par Marguerite de Pellegrue, dame de Pitray, l’une des branches de la famille de Ségur. Sans qu’aucun document écrit ne l’atteste, il est vraisemblable que Montaigne soit venu en chatelain voisin à Pitray, il y a moins d’une heure de cheval entre les deux châteaux.
La famille actuelle compte parmi ses ancêtres d’autres noms qui ont écrit des pages de l’histoire de France : Jean d’Yversen, envoyé en 1559 comme ambassadeur auprès de Soliman le magnifique par le roi Henri III ; Palamède de Suffren qui combattra en 1778 avec son oncle, le Bailli de Suffren, lors de la guerre d’indépendance américaine ; Benoît de Boigne embauché par le Maharadja Scindia comme commandant en chef de l’armée des Mahrattes ; Emile Vincent de Pitray, beau-père de la Comtesse de Ségur ; le général de Simard de Pitray, qui a fait entièrement rebâtir le château en 1868. Saint-Cyrien, il sera officier d’ordonnance du ministre de la Guerre, le maréchal Niel, puis nommé général de la cavalerie de la division d’Oran en 1886.
A Pitray, vous dominez le site de la bataille de Castillon (17 juillet 1453), date et lieu importants de notre Histoire nationale. C’est ici en effet que les armées françaises ont fini par bouter les « anglois hors de France », avec la mort sur le champ de bataille du général anglais Talbot (le vainqueur de Jeanne d’Arc).
Le château, ainsi que son parc, ses jardins et ses communs, sont inscrits en totalité aux Monuments Historiques par arrêté du 19 avril 2010.