Филармония находится в историческом центре Одессы. Построенное в 1899 году здание первоначально предназначалось для проведения биржевых торгов, и потому в нем размещалась новая купеческая биржа, которую возвели вместо старой биржи, что на Приморском бульваре. Эта необходимость была вызвана увеличением экспорта зерна через порт города, появлением в нем железной дороги и, соответственно, ростом торговых сделок. В советские времена, когда плановая торговля пришла на смену биржевой, здание сменило свое предназначение: многие годы здесь располагались разные общественно-государственные организации, проходили пленарные заседания, организовывались литературные вечера. А с 1946 года здание биржи заняла Одесская консерватория.
Первозданный облик здания практически без изменений сохранился до нашего времени. Авторство исходного проекта его постройки принадлежало архитектору В. И. Прохаске из Вены, эскиз которого оказался лучшим из тридцати, предложенных на всемирном конкурсе. Проект был переделан главным городским архитектором А. И. Бернардацци, впоследствии вложившим все свои знания и опыт в строительство, длившееся около пяти лет.