В первые годы христианства в Литве не было специальных учебных заведений для подготовки духовенства, а пасторскую работу выполняли иностранцы, преимущественно – поляки. Мядининкская епархия в целях преодоления нехватки священников в 1469 г. учредила при кафедральном соборе школу для будущих ксендзов епархии.

Духовная семинария начала действовать в Варняй лишь в 1623 г., когда для нее стараниями епископа Станисловаса Кишки были построены отдельные деревянные здания. Их возвели на пригорке, где ранее отправлялись языческие обряды, позднее там построили и два кафедральных собора Мядининкской (Жямайтийской) епархии. К 1770 г. было построено каменное здание семинарии, в котором будущие ксендзы учились до 1864 г., когда по решению российского царя семинарию перевели в Ковно.

В 1822 г. в Варняйскую духовную семинарию поступил Мотеюс Валанчюс. В период 1845–1850 гг., будучи ректором жямайтийской духовной семинарии, будущий епископ начал борьбу за трезвость, заботился о просвещении детей и взрослых, организовывал распространение литовских книг.

Здание семинарии сохранилось до наших дней. После восстановления независимости Литвы там размещались дисциплинарная рота и полк литовской армии им. князя Вайдотаса. Позднее в здании находились средняя школа, профессионально-техническое училище, общежития. В 1991–1995 гг. восстановлены колокольная башня и прежняя конструкция (позднее барокко) кровли здания. Решением правительства Литовской Республики в 1999 г. здание передано Жямайтийскому музею епископства.

Рядом со зданием сохранился и сад М. Валанчюса – посаженная епископом аллея и пруд. Рассказывают, что именно здесь он медитировал, размышлял и общался с повстанцами, поэтому сад следует считать не менее важным объектом культуры.