В 1800 году в Свенте помещик Казимир Плятер-Зиберг построил каменный костёл в честь Пресвятейшего Триединства. Сакральное строение освятили в честь Архангела Михаила.
Костел величиной 26 х 16 х 8 м построен из камней в форме прямоугольника. Снаружи он оштукатурен известковым раствором, в который положен щебень. Оштукатуренный и окрашенный в белый цвет навес, угловые колонны, окантовка дверей и окон. Оцинкованная жестяная крыша. Над крышей — на фасаде — башенка примерно 5 м высотой с колоколами. На каждой стороне костёла по 5 окон, при входе с конца 2 окна и в каждой ризнице по одному окну. Входные двери есть сзади, с боков и в ризницах. У входной двери цементные ступеньки.
Свентский костёл – это единое строение с деревянными полами и потолками. Потолок покрыт маленькими складками. Три деревянных алтаря, скамьи для молящихся и кафедра. Все это сделал плотник С. Меинард в 1913 году. На стенах, с помощью гипса, изображен Крестовый поход. Автор — Серафинович (1913 год). Сначала, это предназначалось для костёла в Грендзе, по потом решение было изменено в пользу Свентского костёла. В Грендзский костёл были перевезены литографические картины Крестового похода из Свентского костёла. В пресвитерии, в правом углу стоит статуя “Ecce Homo”, которую приобрел декан Юрис Пиесковскис. Хоровые помещения держаться на двух могучих каменных столбах, где находится орган. Пресвитерию от костёльных помещений отделяет деревянное причастие. На большом алтаре картина Пресвятой Троицы. По обеим сторонам картины находятся деревянные столбы. Похоже сделаны и оба боковых алтаря. На правой стороне алтарь Св. Михаила с картиной, а на левом – Св. Юра с картиной. Все три картины являются хорошей художественной работой. По обе стороны пресвитерия находятся ризницы, над которыми располагаются склады. В ризнице полки сделаны из дерева, а деревянный пол декан А. Жилвинский постепенно поменял на цементный. Костёльный сад обнесен каменным забором без крыши. Входные ворота имеются с конца и с боков. В саду растут старые лиственные деревья. За оградой, напротив пресвитерия находится дом священника, где жил декан А. Живинскис. Примерно в 1 км от костёла находится приходское кладбище. Там похоронены четыре декана: П. Смелтерс (1868 – 1947), М. Микелонис (1875 – 1950), С. Шикур-Калвани (1892 – 1970), Б. Дуре (1894 – 1971).