Il semble que l’habitat se soit développé à l’époque antique de part et d’autre de la voie romaine, peut-être celle qui joignait Besançon à Dijon en passant par Dammartin et Pontailler-sur-Saône. Cette voie traversait la partie nord du territoire de Rouffange. On y aurait trouvé, selon Rousset, des tuileaux à rebords et des débris de constructions. Des chartes de l’abbaye d’Acey mentionne ce lieu dés le 12ème siècle (Rousset). Madame Claude-Thérèse Nogaret, petite fille de M. Agnus, possédait le domaine utile de Rouffange et en habitait le manoir féodal avec M. Alban Jourdain, son mari (Rousset). Seigneurie: Rouffange dépendait de la prévôté de Gendrey. Lors de la vente de cette prévôté, faite le 21 août 1698, les différents acquéreurs se partagèrent chaque village. Jean-Pierre Mairot, écuyer, eut dans son lot la justice haute, moyenne et basse sur Rouffange, et les autres droits seigneuriaux qui y étaient attachés. Jean-Pierre Mairot laissa, entre autres enfants, de Marie Tranchant son épouse, Jean-baptiste Mairot qui donna Rouffange en dot à sa fille, lors de son mariage avec Jean-Baptiste Agnus, qui fut le dernier seigneur de ce lieu. Après son décès, vers 1900, la propriété fut acquise, partagée et occupée par plusieurs familles, dont certaines habitent toujours la bâtisse.