Dějiny zámku sahají do dávné minulosti. Původně tu stál hrad, někdy, zvláště později
nazývaný tvrz. Ve 13. století se tu mluví o vladycích z Plavče. Hrad plavečský
byl kamenný, budovaný za krále Václava I.
Ve 13. století byla hradní osada Plaveč rozdělena na Dolní a Horní Plaveč. Každá
z nich tvořila samostatné podhradí, náležející různým pánům. Dolní Plaveč byla zboží
vladyků hradu, na jehož místě stojí dnešní zámek.
V roce 1791 koupil statek Plaveč Josef Widman. V kupních smlouvách se již nemluví
o tvrzi, nýbrž o zámku. Tento byl totiž vybudován na místo tvrze v 17. století.
Roku 1889 zemřel baron Vojtěch Widman, jakožto zemský hejtman ve výslužbě a pohřben
byl v hrobce zámecké kaple (rotundy). Velkostatek zdědil jeho syn, který opuštěn
a v nouzi zemřel 11.12.1945. Občané plavečtí ho vzhledem k jeho dobrotě pohřbili
v zámecké kapli dne 15.12.1945.
Po té byl zámek, převzat do národní sféry a přislíben Spolku katolických žen.
V roce 1950 jej však převzala charita a zřídila v něm ústav pro přestárlé a zmrzačené.
Žilo tu kolem 100 chovanců, o které se staralo celkem 25 osob. Byly to převážně řádové
sestry sv. Karla Boromějského. Z jejich iniciativy a jejich obětavé práce bylo
přikročeno k stavební úpravě zámku. Vybudováním estetického prostředí, vzornou péčí
a zapojením chovanců do různých prací, se dostal ústav mezi nejlepší v republice.
V 70 letech sestry postupně odcházely a byly nahrazeny civilním personálem.
Od roku 2003 je zámek včetně ostatních budov a parku majetkem Jihomoravského kraje a je
i nadále využíván pro potřeby domova pro seniory.