Die erste Schule des Bistums Niederlitauen für Priester wurde bereits in der Mitte des 15. Jh. in Varniai gegründet. Später, 1623, wurden die Gebäude des Priesterseminars errichtet, wo der spätere Bischof Motiejus Valančius sein Studium begann. Der Protagonist der Abstinenzbewegung, des Bildungswesens und des Bücherschmuggels musste 1864 Varniai, wo er den Großteil seines Lebens verbracht hatte, verlassen, da auf Entscheidung des Imperators das Seminar nach Kaunas verlegt wurde.

Diese Kulturobjekt Niederlitauens ist nicht nur wichtig wegen seines Museums in den Räumen des ehemaligen Priesterseminars, sondern auch wegen des sogenannten Valančius-Gartens, den diese bedeutende litauische Persönlichkeit des 20. Jahrhunderts selbst angelegt hatte, wohin er sich zum Nachdenken zurückzog und wo er sich mit den Aufständischen traf.