Początkowo dla księży diecezji żmudzkiej została przeznaczona szkoła w Worniach, założona w połowie XV w. Dopiero w 1623 r. powstały wszystkie budynki seminarium duchownego, w których dwieście lat później naukę rozpoczął biskup Motiejus Valančius. (pol. Maciej Wołonczewski). Wielki zwolennik trzeźwości, oświecenia i przemytu książek, który spędził tu większą część swojego życia, musiał opuścić Wornie w 1864 r., gdy z decyzji cara rosyjskiego seminarium przeniesiono do Kowna.

Ciekawe jest to, że ten żmudzki obiekt kulturalny ważny jest nie tylko ze względu na muzeum mieszczące się w byłym seminarium, ale również z powodu znajdującego się przy nim tzw. „Ogródka M. Valančiusa”. Ogród ten został założony przez samego biskupa, a w XX w. najświetniejsze postacie litewskiej kultury rozmyślały i spotykały się tutaj z powstańcami.