Сім'я польських магнатів Потоцьких володіла палацом до кінця XIX в. До сьогодні збереглося художнє оформлення стелі, мармурова та паркетна підлога з інкрустацією. У підвалі будівлі влаштована штучна печера з гротом, яка з'єднується підземними ходами з одеськими катакомбами (екскурсії слід замовляти заздалегідь). У 1899 р. за ініціативи Одеського товариства витончених мистецтв було відкрито Одеський художній музей, що функціонує й досі. В експозиції представлені роботи українських і російських майстрів XVI-XIX ст.: Айвазовського, Тропініна, Саврасова, Шишкіна, Рєпіна, Сурикова, Сєрова, Врубеля, Реріха, Бенуа, Кандинського та ін.