Emergeant tel un îlot au milieu de l’océan de vignes, Margon tient ses maisons serrées autour de l’imposant château. Ce dernier est déjà mentionné en 1080, lorsque Pierre Alquier assiste à la donation que Marie, sa femme, et leurs enfants font de la paroisse de Cassan aux chanoines réguliers de St Augustin. 

A la faveur de la Croisade des Albigeois, la terre de Margon, siège d’une ancienne baronnie, passe sous la souveraineté du Roi en 1221, alors que la province du Languedoc ne sera rattachée à la France que 50 ans plus tard.

Cette particularité territoriale et politique a toujours été revendiquée par ses seigneurs qui ne manquaient pas de rendre hommage au roi à chaque nouveau règne et par ses habitants,  dotés d’un caractère peu accommodant, fidèles à la tradition qui avait fait donner à leur commune le nom de « République de Margon ».

Aux familles féodales Alquier, de L’Isle et d’Antignac, ont succédé à partir de la Renaissance, les Plantavit de la Pauze dans le négoce, puis à partir de 1719 les Le Moine dans la finance. Cette famille est toujours propriétaire du château.