In dem Städtchen Varniai steht die Peter-und-Paul-Kirche die mehrfach gebaut und wiedererbaut wurde, erstmals begonnen im 15. Jh. begann man immer Mal wieder daran zu bauen um nach der Fertigstellung zerstört zu werden. Der Bau des heutigen Kirchenbaus datiert vom Ende des 17. Jahrhunderts mit einer Renovierung der Kirche, die später zeitweilig den Rang einer Kathedrale innehatte, zu Beginn des 19. Jh.

Mit der Anordnung von Gouverneur Michail Murawjow aus dem Jahr 1964, das Bistum nach Kaunas zu verlegen, wurde aus der Kathedrale wieder eine Gemeindekirche. Die Kirche zeichnet sich heutzutage durch ihren Reichtum an Kulturschätzen aus, nicht nur die Kirche selbst, sondern auch Portraits und Gemälde umfassend.