У 1860-х роках цю ділянку, що знаходиться на місці злиття річок Псел та Сумки, купив цукровий магнат Іван Харитоненко. Точно невідомо чи придбав він її вже з будівлею, яку перебудували, а один з флігелів згодом переобладнали під торгову палату «Харитоненко і син»; чи новий господар сам зводив ці приміщення.
Житловий маєток був побудований у модернізованому стилі, що являв собою суміш ренесансу та російського бароко. Будівля мала 2 поверхи, спереду її прикрашав партер з скульптурними фонтанами та бічні виїзди, а позаду – прилягав сад. Поряд також знаходилися господарські приміщення.
Торгова контора, виконана класицистичному стилі, спершу була одноповерховою, а в 1912 -1913 роках під час реконструкції всієї садиби, яку провдив уже син – Павло Харитоненко, будівлі додали другий поверх.
Після смерті власника в 1914 році маєток передали під дитячий санаторій ім Косіора, під час війни тут діяв госпіталь, а після війни – контора управління цукротресту, поліклініка, за часів незалежності – міське управління архітектури.
З 2003 року комплекс знаходиться на реконструкції. Нині йдеться про те, щоб внести його до всеукраънського проекту «Велика реконструкція».
