На місці старого городища існував замок Збаразьких. В 1594 р. біля замку розташувалось 4000 козацьких осель. Олександр Борецький побудував тут палац та заклав парк та каплицю і конюшню зі стада порозистих коней. У 1805 р. його донька звела в Прилуках костел Св. Анни та у 1819 р. Преображенську церквую. У другій половині 19 ст. палац належав Чеславу Здиховському, він його перебудував. Останнім власником став Сергій Мерінг, який відреставрував палац. Достеменно не відомо як виглядав палац Борецького, але ми знаємо, що Борецький був магнатом і оточував себе відповідним побутом. Також не відомо, що саме у вигляді палацу змінили Чеслав Здеховський та Мерінг. В палаці знаходилися картини старих шкіл німецьких та іспанських малярів, а також роботи Стімлера, Ґроттґера. Виставлені на продаж сином Здеховського картини були оцінені в 100 000 срібних карбованців. Частина галереї Здеховського потрапила до російського уряду. Нині в колишньому палаці міститься Староприлуцька спеціалізована загальноосвітня школа-інтернат.