Основателем музея считают полтавского художника-передвижника Николая Ярошенко, который завещал передать коллекцию его произведений городу. В 1919 году в бывшем имении помещика Болюбаша, который спроектировал Алешин, открылся художественный музей. Его коллекция поражала, в нее вошли шедевры западноевропейской живописи, коллекция произведений Ивана Мясоедова и сборки произведений художников-передвижников, коллег Ярошенко. Но основу экспозиции составляли работы самого Николая Александровича — картины, рабочие альбомы художника, скульптуры. Накануне Второй мировой войны коллекция музея насчитывала более тридцати тысяч экспонатов. В годы войны большинство экспонатов музея не вывезли, а потому их разворовали и уничтожили. После войны к стенам полтавского музея вернулось лишь четыре тысячи экспонатов, судьба остальных неизвестна. В 1944 году музей возобновил свою работу и с тех пор началось активное пополнение коллекции произведениями искусства.
В 2000 году музей был переведен в новое и современное помещение галереи искусств из-за аварийного состояния его здания. В 2008 году ему было присвоено имя Николая Ярошенко. Сейчас коллекция музея насчитывает около 9000 произведений искусства и выставлены они в нескольких залах — это работы самого Николая Александровича, произведения украинских, западноевропейских, русских художников, а также скульптуры, мебель и изделия из фарфора.
