Комплекс культовых сооружений Тельшяйского монастыря бернардинцев и духовной семинарии является одним из наиболее значимых в Жямайтии. Он расположен на северном берегу озера Мастис, на холме Инсулос. Этот объект появился в XVII в., комплекс образуют монастырь францисканцев (бернардинцев) и собор, в 1926 г. получивший статус кафедрального, а также духовная семинария, дворец епископа, школа и другие здания.

Основание монастыря бернардинцев инициировали староста Тельшяй подканцлер Великого княжества Литовского Павел Сапега и его жена Катарина Гославская-Валавичене Сапегене. Одобрение было получено от тогдашнего короля Речи Посполитой Сигизмунда III Вазы. Сначала построили небольшой деревянный, а позднее – каменный монастырь. В середине XVII в. возвели часовню «Лоретский дом» – наиболее удаленное на север место почитания Богоматери Лоретской. В часовне монахи молились до 1748 г., до освящения построенного рядом храма.

К середине XVIII в. Тельшяй был восстановлен после пришедшихся на начало века Северной войны со шведами, периода чумы и голода. Поскольку влияние города усиливалось, по инициативе провинциала Литовской провинции бернардинцев отца Пранцишкуса Самавичюса и настоятеля Тельшяйского монастыря Пранцишкуса Кашутиса началось строительство каменного монастырского храма. Фундаторами строительства выступили большинство представителей жямайтийского дворянства. Строительство храма завершилось в 1791 г., в 1794 г. он был консекрирован.

Центральному алтарю храма в стиле барокко с элементами классицизма присвоили имя св. Антония (1195–1231), одного из наиболее почитаемых в Жямайтии святых.

В 1793 г. стараниями отцов-бернардинцев при монастыре открылась подокружная трехлетняя школа, в 1831 г. ставшая гимназией. В 1868 г. по указанию куратора Виленского учебного округа школа была закрыта.

В 1853 г. в связи с проводимой российскими властями антикатолической политикой закрылся и бернардинский монастырь. Часть монастыря превратилась в приходской дом, храм стал приходским костелом Тельшяй, а ксендзы – настоятелями приходов. В XIX в. в центре костела соорудили башню, которую позднее пришлось снести из-за недостаточно прочной конструкции и построить вдвое меньшую. Еще раз костел ремонтировался в 1897–1898 гг., тогда было смонтировано металлическое ограждение со светильниками, опоясывающее галерею второго этажа, а на костельном дворе установлены каменные ворота в стиле классицизма.

4 апреля 1926 г. буллой Папы Римского Пия XI Lituanorum gente была образована церковная провинция Литвы и учреждена Тельшяйская епархия. Приходскому костелу Св. Антония Падуанского присвоили статус кафедрального собора. Первым епископом Тельшяй был назначен выдающийся деятель церкви и Литовского государства Юстинас Стаугайтис (1866–1943). Его стараниями в 1927 г. в бывшем монастыре открылась духовная семинария, а в 1929 г. для семинарии возведена пристройка. В 1929–1930 гг. построен дворец епископа.

В 1940 г. в Тельшяйском кафедральном соборе рукоположен в епископы прелат Винцентас Борисявичюс (1887–1946). 5 февраля 1946 г. епископа арестовали органы советской власти, подвергли пыткам и 18 ноября 1946 г. расстреляли в Вильнюсе. Останки Винцентаса Борисявичюса были обнаружены в Тускуленай и в 1999 г. перезахоронены в крипте епископов в кафедральном соборе Св. Антония Падуанского. Начат процесс его беатификации (причисления к лику блаженных).

В ходе подготовки к 600-летию крещения Жямайтии проведена реновация кафедрального собора. Двери собора украсили медными пластинами, отображающими процесс развития христианства в Жямайтии, а ворота костельного двора – статуями покровителя храма св. Антония и покровителя Тельшяй св. Станислава работы Арунаса Сакалаускаса.