Présence de plusieurs habitats du Paléolithique inférieur -200000 à -100000 ans av JC) et du Paléolithique moyen (-100000 à -35000 ans av JC). Une voie romaine de Malange à Taxenne a été repérée avec à proximité une petite forge de cette époque. Une seconde voie, également bordée de constructions antiques, permet de rejoindre Vitreux en passant par l’hermitage de St-Aubin.
Au lieu dit « les Ruchottes » se réfugièrent au XIIIème siècle les personnes atteintes de la peste. A cette époque le village ne conserva que 13 ménages. Par testament, en 1278, la Princesse Alix, Comtesse palatine de Bourgogne, fit entrer ses propriétés dans le lot de son fils Etienne, une autre partie du territoire communal appartenait a l’Abbaye d’Acey. Sermange se divise en trois fiefs: Amange, Ougney et Balançon. II dépendait de la seigneurie de Gendrey (Voir Gendrey) Sermange fut chef-lieu de canton pendant 15 mois (28/Ol/1794 au 17/0!04/1795) suite aux troubles dans le jura et à la dissolution de Gendrey en tant que chef-lieu. Cadastre Napoléonien de 1816.
Anecdote: La rue principale porte le nom de rue Franche. Dénomination qui lui a été donnée car le sol en appartenait à des sujets d’Ougney qui avaient reçu une charte d’affranchissement.