Il existait ici un château fort qui aurait été édifié vers 1089 par Guillaume des AUBUIS. Vers 1505, le château féodal fût abandonné et les seigneurs de Longue Plaine allèrent habiter le manoir de Cigogné, à environ 300 mètres à l'ouest du château, jusque sous la régence. Une restauration de ce manoir Renaissance est actuellement à l'étude.
Vers 1708, les terres et les ruines du château furent acquises par Claude-François REVERDY, conseiller du roi et Président du grenier à sel de Tours. C'est lui qui reconstruisit vers 1715, la "maison" qui servit de base au château actuel. De l'ancien château il ne reste que 2 tours du XV ème siècle. Le 3 juillet 1808, l'ensemble du domaine fut acquis par Jean-Baptiste GOUEY de la BESNARDIÈRE. Employé au ministère des affaires étrangères, il fut remarqué par TALLEYRAND qui se l'attacha pour la vie. GOUEY devint l'éminence grise de TALLEYRAND et certains auteurs n'hésitent pas à dire que c'est lui-même qui rédigea les "instructions" au congrès de Vienne en 1815. NAPOLÉON également le tenait en grande estime et le combla d'ailleurs de récompenses : chevalier de la légion d'honneur en 1804, officier en 1813. Longue Plaine fut constituée pour lui en majorat en 1808. LOUIS XVIII continua sa bienveillance à son égard en le nommant comme comte héréditaire de Longue Plaine en 1816, et conseiller d'état en 1824.
GOUEY de la B. confia les grands travaux d'embellissement néo-gothique et d'aggrandissement au célèbre architecte Phidias VESTIER, vers 1840. En les commentant la comtesse de DINO écrit le 19 juin 1842, "je suis arrivée ici hier soir, la maison est jolie, commode, élégante et pleine de petits conforts que l'on est étonné de trouver ici". Cent ans plus tard, la façade du château fut décorée de sculptures et une tour fut ajoutée sur la façade nord.