C’est Jacques d’Albon, marquis de Fronsac, favori de Henri II, plus connu sous le nom de Maréchal de Saint-André, qui fit de Vallery une résidence princière. Sa veuve donna le château en pur don, par amour, à Henri de Bourbon, prince de Condé. Les Condé le possédèrent jusqu’en 1747. En 1727, il fut donné en partage, avec le comté de Sens, à Élisabeth Alexandrine de Bourbon, connue sous le nom de Mademoiselle de Sens. Celle-ci pour satisfaire ses caprices amoureux, le vendit à Cordier de Launay ; si bien que ce château, advenu aux Condé au son de l’amour, s’en alla pour eux au son de la même musique, au son de l’amour.