Історія музею починалась з невеличкого кабінету рідкісних артефактів, який за десятки років виріс у найкращий археологічний музей свого часу.
Важливим поштовхом для подальшого розвитку археології в регіоні став ХІІ Археологічний з’їзд 1902 року, завдяки чому на території області були проведені масштабні дослідження. Трохи згодом, у 1920 році, музей отримав статус міського. Тоді в його фондах налічувалось близько 200 000 експонатів. У офіційних документах радянської доби колекції значились під грифом «вищий рівень рідкісності». І не дивно, адже тут зберігались вироби із золота, дорогоцінного каміння, середньовічні лицарські обладунки, візантійські емалі.
Цікаво: музей двічі був нещадно пограбований. Вперше це сталося під час громадянської війни, вдруге – під час фашистської окупації міста.
Наразі музей може похизуватися найкращою в країні та за її межами колекцією предметів бронзового віку, скіфського періоду, черняхівської і салтівської культур. Та чи не найбільше відвідувачів вражає імітація розкопок під прозорою підлогою зі справжніми скелетами.
