Le château est en ruines, les arbres poussent dans les fossés et la cour est un pré. Le château médiéval était de plan pentagonal, avec quatre tours rondes et une tour carrée à l'entrée. Au début du XXe siècle, on distinguait encore une grande tour carrée au N. Les restes de cheminées monumentales date de l'époque du chancelier Rolin.
On ne peut imaginer la splendeur passée du château qu'au travers des réflexions de ceux qui l'ont approché avant sa démolition:
Mme de Sévigné, reçue en 1677 par son cousin Roger de Bussy-Rabutin, déclare: "sa situation est admirable; j'en ai le paysage dans la tête et je l'y conserverai soigneusement."
Le même cousin parle, quant à lui, des "propretés dont je l'embellis"
3ème quart du XVe siècle : le cardinal Jean Rolin, évêque d'Autun, fils du chancelier, hérite du domaine
1483 : le fils naturel du cardinal, Sébastien Rolin, hérite à son tour du château
début XVIe siècle : Esmée Rolin et Antoine d'Orges sont dame et coseigneur de Chazeu
1651 : après avoir été partagée entre deux familles, la seigneurie est à nouveau réunie par l'écrivain Roger de Bussy-Rabutin, qui, ayant hérité d'une moitié, en rachète l'autre à Chrétienne de Chissey; il avait épousé huit ans avant Gabrielle de Toulongeon, petite fille de sainte Jeanne de Chantal