С давних времен на месте сегодняшнего собора размещались духовные объекты. Считается, что неподалеку находился первый католический костел города - Святого Креста. Монастырский комплекс бернардинцев появился здесь в ХVII веке, к нему входил монастырь с костелом. Первоначально задумывалось, что костел будет построен в форме розы, вокруг которой будет находиться подковообразный монастырь. Но потом от этой идеи отказались и костел построили в стиле позднего барокко. После того, как бернардины оставили город в 1853 году, храм передали православным. Тогда же костел перестроили, его центральную часть увенчал купол, а над центральным входом возвели колокольню. Собор освятили в 1880 году в честь Святой Троицы.
Внутри сохранился прекрасный дубовый позолоченный двухъярусный иконостас, выполненный в псевдорусском стиле. В колокольне собора установлено девять колоколов, один из них старший, подаренный еще российским императором Александром III, и имеет вес 2,5 тонны. Также в храме сохранились ценные иконы и росписи на стенах.
