Палац побудувала у 19 столітті родина Давидових - Потоцьких, які на той час володіли містом. Першим господарем став Василь Давидов, масон і один з засновників Південного товариства декабристів, тому садиба стала місцем зборів однодумців. Після невдалої спроби бунту Василя Давидова заарештували і маєтком став управляти його син Лев.
У палаці часто гостював П. Чайковський і зупинявся Пушкин, тому зараз маємо тут меморіальні музеї цих митців.
Загалом від садиби Давидових до нас дійшло небагато: парк з пам’ятниуом декабристам та гротом, будинок управляючого, де нині знаходиться історичний музей і Зелений Карточний будинок.
