Назва пов'язана з легендою про те, як княгиня Ольга, яка спалила Іскоростень в помсту за смерть свого чоловіка, розкаялася у скоєному і після прийняття християнства побудувала на попелищі храм, куди приїжджала замолювати гріхи. Прихід Св. Ольги був заснований в місті в 1990 р.