Первым владельцем дворца был поляк по происхождению, камергер русского двора Станислав Бержинський. В 1869 г.. дворец вместе с сахарным заводом приобрел Артемий Терещенко. В годы Гражданской войны во дворце располагался Волревком, затем – штаб Первой конной армии под руководством легендарного командира Семёна Буденного, о чем до сих пор извещает мемориальная доска.
В настоящее время в здании находится Андрушевская СОШ №1.