Дворец построила в 19 веке семья Давыдовых - Потоцких, которые в то время владели городом. Первым хозяином стал Василий Давыдов, масон и один из основателей Южного общества декабристов, потому усадьба стала местом собрания единомышленников. После неудачной попытки бунта Василия Давыдова арестовали и имением стал управлять его сын Лев.
Во дворце часто гостил П. Чайковский и останавливался Пушкин, поэтому сейчас имеем здесь мемориальные музеи этих художников.
Всего с усадьбы Давыдовых до нас дошло немного: парк с памятником декабристам и гротом, дом управляющего, где сейчас находится исторический музей и Зеленый Карточный дом.
