Kompleks budynków klasztoru bernardynów i seminarium duchownego w Telszach na Żmudzi jest jednym z najważniejszych kulturowo obiektów w regionie. Budowę klasztoru na brzegu jeziora Mastis zainicjowano jeszcze w XVII w. za zgodą ówczesnego króla Rzeczpospolitej Obojga Narodów, a w 1794 r. konsekrowano również kościół murowany, w którego powstanie mieli swój wkład najważniejsi właściciele ziemscy. Rok wcześniej w kompleksie tym otwarto trzyletnią podokręgową szkołę, która później została przekształcona w gimnazjum.

W 1926 r., po utworzeniu przez papieża Piusa XI litewskiej prowincji kościelnej i ustanowieniu diecezji telszańskiej, kościół parafialny pw. św. Antoniego stał się katedrą. Już rok później ponownie otwarto seminarium duchowne, które w połowie XIX wieku zostało zamknięte z powodu antykatolickiej polityki rosyjskiej.