Заложен он в конце 17-го – начале 18 столетия полковниками Изюмского слободского казацкого полка Шидловскими. В конце 18-го века усадьба перестраивалась ее владельцем Григорием Романовичем Шидловским.
Последний построил настоящий дворцовый комплекс с большим парком, прудом, беседками, искусственным гротом и церковью Всех Святых. Великолепие дворца сравнивали с резиденцией французских королей, называя его «Слобожанским Версалем».
С 1820-х годов дворец находился во владении героя войны 1812 года — графа Василия Орлова-Денисова, чей сын был женат на Наталье Алексеевне Шидловской. После крестьянской реформы дворянская усадьба, основанная на использовании подневольного крестьянского труда, стала стремительно приходить в упадок.
В советское время усадебный дом был отдан в распоряжение сельскохозяйственной школы (сельхозтехникума, позднее – зооветучилища), изнутри основательно перестроен. С 1997 года пребывает в бесхозном состояниии требует реконструкции.
