Les bâtiments sont groupés en un quadrilatère irrégulier autour d'une cour centrale. L'entrée est située au nord et consiste en une porte charretière accostée d'une porte piétonne, toutes
deux précédées jadis de pont-levis, entre deux grosses tours rondes percées à leur base
d'archères-canonnières. De part et d'autre de cette entrée, les courtines sont surmontées d'un chemin de ronde garni de meurtrières. À la muraille nord, s'appuie un long bâtiment rectangulaire
qui abrite au rez-de-chaussée une salle divisée en trois nefs de quatre travées et qui serait l'ancien auditoire de Saint-André-le-Désert. Une grange est adossée au flanc est. À l'extrémité est du flanc sud, une conciergerie a été construite au
XIXe siècle. Des communs lui font suite, flanqués à l'extérieur d'une tour
carrée hors oeuvre, remaniée aux XVIIe siècle et XVIIIe siècle, donnant dans les fossés par une petite porte en plein cintre.
Le corps de logis principal est adossé à la courtine ouest et flanqué sur son angle sud ouest d'une grosse tour carrée en bel appareil régulier, couronnée de mâchicoulis sur consoles formant chemin de ronde extérieur et défendue par une petite bretèche. Une cave voûtée de croisées d'ogives retombant sur de grosses piles rondes règne sous une partie du logis défiguré au XVIIIe siècle. Le logis est flanqué d'une tour d'escalier carrée hors oeuvre,
dans le mur de laquelle on distingue les fentes des balanciers d'une planchette. Cette tour est percée d'une petite porte que surmonte un cartouche armorié daté de 1570. À l'étage du logis, on devine au plafond des éléments peints du XVIe siècle ou du XVIIe siècle.
Une petite tour carrée flanque le mur ouest.
Au sud, entre le donjon et la tour carrée, se trouve une terrase soutenue par de puissants contreforts.