Фундатором музею вважають полтавського художника-передвижника Миколу Ярошенка, який заповів передати колекцію його творів місту. У 1919 році у колишньому маєтку поміщика Болюбаша, який спроектував Альошин, відкрився художній музей. Його колекція вражала, до неї увійшли шедеври західноєвропейського живопису, колекція творів Івана Мясоєдова та збірки творів художників-передвижників, колег Ярошенка. Але основу експозиції складали роботи самого Миколи Олександровича — картини, робочі альбоми художника, скульптури. Напередодні Другої світової війни колекція музею налічувала понад тридцять тисяч експонатів. У роки війни більшість експонатів музею не вивезли, а тому їх розікрали та знищили. Після війни до стін полтавського музею повернулося лише чотири тисячі експонатів, доля решти невідома. У 1944 році музей відновив свою роботи і від тоді почалося активне поповнення колекції творами мистецтва.
У 2000 році музей із-за аварійного стану його будівлі, було переведено до нового та сучасного приміщення галереї мистецтв. У 2008 році йому було присвоєне ім’я Миколи Ярошенка. Наразі колекція музею налічує близько 9000 витворів мистецтва і виставлені вони у декількох залах — це роботи самого Миколи Олександровича, твори українських, західноєвропейських, російських художників, а також скульптури, меблі і вироби з порцеляни.
