Une puissante tour carrée surmontée d’une toiture pyramidale et couronnée d’un clocheton, demeure le seul reste de la forteresse primitive bâtie vers 1250.
Elle domine de sa haute silhouette le bâtiment d’une grande élégance, édifié en 1762.
Le château de Talmay en 1250
Guillaume de Champlitte, Sire de Pontailler, Seigneur de Talmay fait élever la forteresse de Talmay. Cette famille va s’illustrer pendant deux siècles, mêlant son histoire à celle des ducs de Bourgogne. Guy III de Pontailler fut nommé Chevalier de la Toison d’Or en 1433.
Le château de Talmay en 1692
Pierre Fijan, conseiller maître à la Chambre des comptes de Paris, achète la Baronnie de Talmay. Il fait édifier le toit pyramidal et aménage la tour en boiseries.
Le château de Talmay en 1753
Son petit fils Pierre II, conseiller au parlement de Bourgogne, fait dessiner les jardins à la française puis fait construire le château actuel sur les plans de l’architecte d’Aviler, au pied du donjon.
Le château de Talmay en 1824
Achat du château par Pierre-Auguste Floret, maître de forges à Pesmes en Haute-Saône. Il le laisse à sa nièce la baronne Paul Thénard. Les propriétaires actuels descendent de cette famille.