Палац був побудований на місці турецької фортеці, захопленої під керівництвом Йосипа Дерібаса, і був резиденцією генерал-губернатора міста М.С. Воронцова. Колись він вражав своєю пишністю - розкішні інтер'єри, пишна позолота, статуї, багата ліпнина - очевидці того часу відзначали, що оздоблення та орнаменти палацу у багато разів перевершували італійські аналоги.
За час свого існування палац побував і чоловічою гімназією Юнгмайстер, і Товариством акліматизації тварин, а з 1936 року - Палацом піонерів. В даний час в Воронцовському палаці знаходиться міський палац дитячої та юнацької творчості.
Цікаві факти:
У 1837 році на другий день перебування в Одесі в новому палаці одним з перших побував поет В. А. Жуковський, після чого в його щоденнику з'явився лаконічний запис: «28 серпня. Прогулянка містом. Огляд будинку графа Воронцова. Оранжереї. Медальний кабінет. Бібліотека.» Йдеться про багатющу бібліотеку графа, книгами з якої А. С. Пушкін користувався ще до того, як вона зайняла спеціально відведений зал в новозбудованому палаці. Згодом книжкове зібрання Воронцова було подаровано місцевому університету, де під назвою «Воронцовський фонд» зберігається і по цей час.
У 1854 році, 10 квітня, палац піддавався ударам англо-французької ескадри в період Кримської війни і був частково зруйнований (в стіні нинішнього балетного класу, на першому поверсі палацу, можна побачити одне з безлічі ядер, що потрапили в будівлю). Цікаво, що найбільшим скарбом в цей час для графа Воронцова був не стільки сам палац, скільки його книги - багатюща бібліотека. Під час бомбардування Одеси він віддає розпорядження «надійно укрити рідкісні книги», завдяки чому бібліотека була збережена.
