Das Ensemble des Bernhardiner-Klosters in Telšiai und des Priesterseminars ist kulturell eins der bedeutendsten in ganz Niederlitauen. Der Bau des Bernhardiner-Klosters am See Mastis wurde bereits im 17. Jh. in Angriff genommen, mit der Zustimmung des Königs der Republik beider Nationen, und 1794 wurde auch die Kirche aus Mauerwerk, deren Bau von allen wichtigen Baronen der Gegend gefördert worden war, eingeweiht. Ein Jahr vorher war auch eine Drei-Klassen-Schule eröffnet wurden, aus der im Laufe der Zeit das Gymnasium erwuchs.

Als Papst Pius XI. 1926 die Kirchenprovinz Litauen begründete und damit das Bistum Telšiai entstand, wurde die Gemeindekirche St. Anton zur Kathedrale. Ein Jahr darauf wurde das in der Mitte des 19. Jh. wegen antikatholischer Stimmung im Russischen Imperium geschlossene Priesterseminar wiedereröffnet.