Насправді зібрання дворян і промисловців тут відбувалися на багато рідше, ніж культурні та розважальні заходи.
На першому поверсі будівлі розташовувався музичний салон, театральна зала та ресторан. Велика зала Громадського зібрання мала чудову акустику, тому часто приймала тут оперні вистави та різноманітні концерти. У 1913 році на сцені будинку дворянського зібрання навіть виступали артисти з Міланської опери. Крім них, з перфоменсами сюди приїздили Ф. Шаляпін, Л.Собінов, С. Ріхтер, хор Полянського та Іконніка, ансамбль Д.Покровського.
Згодом приміщення стало виключно культурно-мистецькою установою. У 1916 році тут відкрили кінотеатр «Люкс», через рік – клуб ім.Т. Шевченка. Трохи згодом завод ім. Фрунзе облаштував тут свій клуб «Металіст».
Філармонія почала діяльність у цьому будинку з 1939 року, певний час ділячи приміщення з Сумським художнім музеєм. У 2007-2008 роках у філармонії зробили ремонт і встановили орган, що раніше знаходився в Троїцькому соборі.
