Le fief de la Baumière, anciennement Baumelière, est attesté dès 1329. Une tour est signalée au dessus d'un gué. L'actuel château a été construit sur le site d'une motte castrale par la famille Du Verrier, qui possédait déja les manoirs du Pin et de la Motte-Contais. Comme à la Bussière, la façade bien ordonnancée avec tourelles d'angle date du XIXe siècle. Le nom pourrait provenir de la Baume, "Grotte" en provençal, située sous la terrasse. Selon la légende, un souterrain rejoignant celui de l'église partirait de ce trou.
