Непосредственно Олицкий замок был заложен в 1564 году, причем он нес более оборонительную функцию, чем эстетическую. Простая квадратная форма, бастионы на определенном расстоянии от стен крепости, земляные валы, ров с возможностью быстрого заполнения водой из местных рек - все это было необходимо в первую очередь для защиты.
В некоторых местах ширина стен составляла более полутора метра, что было весьма существенным показателей и свидетельствовало о надежности крепости. Интересно, что строительство было завершено лишь внуком основателя, князя Николая Радзивилла, который внезапно умер и не увидел готового сооружения.
На территории Олыка был построен крупнейший в Волынской области костел святой Троицы князем Альбрехтом Радзивиллом, который был очень образованным и набожным человеком. Именно поэтому он организовал лечебный госпиталь, где помощь получали не только католики, но и представители других конфессий. В период Второй Мировой войны замок сильно пострадал - от дворца и многих других сооружений практически ничего не осталось. Современное назначение территории - психиатрическая больница, которая функционирует и сейчас. Здесь можно увидеть частично сохранившиеся фрагменты защитных конструкций времен расцвета замка.
