Костелу Святых апостолов Петра и Павла, возвышающемуся на правом берегу реки Варняле в Варняй, сегодня присвоен статус объекта культурной ценности, однако первый Варняйский кафедральный собор до наших дней не сохранился. Следов храма, строительство которого началось еще в 1421 г., при позднейших археологических раскопках обнаружено не было. Кафедральные соборы в Варняй начинали строить несколько раз – в 1463 г., затем в 1519 г. и 1555 г., но все они либо не были достроены, либо не сохранились до наших дней.

В 1681–1691 гг. жямайтийский епископ князь Казимир Пац (1667–1695) на собственные средства построил каменный храм, который спустя более чем сто лет был разорен пожаром. В начале XIX в. его восстановил жямайтийский епископ Юозапас Арнульфас Гедрайтис. После того как в 1864 г. по приказу губернатора Михаила Муравьева центр епархии перенесли в Ковно, кафедральный собор стал приходским костелом Науейи Варняй.

Костел Святых апостолов Петра и Павла построен в стиле барокко по типу базилики. Внутри три нефа и 12 алтарей. Самый большой алтарь в 1694 г. создал мастер из Кенигсберга Маумо Полони, а в 1853 г. отреставрировал мастер резьбы по дереву Вольдемар Кельберг.

В Реестр культурных ценностей занесено и сохранившееся в костеле со времен Мотеюса Валанчюса кресло-трон епископа. Переезжая в Ковно, епископ Валанчюс намеренно оставил это кресло в Варняй в память о былом кафедральном соборе.

В костеле хранятся находящиеся под охраной государства большое собрание портретов жямайтийских епископов и иконы святых «Архангел Михаил», «Св. Казимерас», «Св. Станисловас», «Св. Стяпонас», «Три короля», «Святое семейство». Все они включены в Реестр культурных ценностей.

В 1971 г. костелу Святых апостолов Петра и Павла присвоен статус объекта культурной ценности.