Фёдор Матвеевич переехал в Кривой Рог в возрасте 50 лет. Приехал погостить к тёте и остался здесь жить. Будучи капитан-лейтенантом в отставке, он мог позволить себе построить первый двухэтажный каменный особняк в городе. Вокруг него был разбит фруктовый сад. Мершавцев был участником двух кругосветных путешествий, поэтому большинство деревьев были экзотическими. Любой житель города мог гулять в саду и собирать плоды. В 1903 году, незадолго до своей смерти, дворянин обустроил в парке первый в городе фонтан, лодочную станцию и карусели.
После октябрьской революции парк был практически уничтожен, большевики вырубили большую часть деревьев. Несмотря на это, некоторые деревья, посаженные Фёдором Матвеевичем, сохранились до наших дней. Как и прежде, здесь есть лодочная станция, площадки для детей, аттракционы, веревочный парк и другие развлечения. В парке регулярно проводят различные мероприятия: от занятий йогой до тематических фестивалей.
