Pirmaisiais krikščionybės metais Lietuvoje nebuvo specialių kunigų mokymo įstaigų, o pastoracinį darbą atlikdavo svetimšaliai, daugiausiai lenkai. Medininkų vyskupija kunigų trūkumą siekė panaikinti ir 1469 m. prie katedros įsteigė mokyklą būsimiems vyskupijos kunigams.

Kunigų seminarija Varniuose pradėjo veikti tik 1623 m., kai vyskupo. Stanislovo Kiškos, dėka pastatyti atskiri mediniai pastatai. Jie iškilo ant kalnelio, kur anksčiau vykdavo pagonių apeigos, vėliau ten pastatytos ir dvi Medininkų (Žemaičių) vyskupijos katedros. 1770 m. pastatyti visi seminarijos rūmai, kuriuose būsimieji kunigai studijavo iki 1864 m., kai Rusijos caro sprendimu seminarija iškeldinta į Kauną.

1822 m. į Varnių kunigų seminariją įstojo Motiejus Valančius. 1845–-1850 m. Žemaičių kunigų seminarijos rektoriaus pareigas ėjęs būsimasis vyskupas pradėjo blaivybės akciją, rūpinosi vaikų ir suaugusiųjų švietimu, organizavo lietuviškų knygų platinimą.

Sseminarijos rūmai stovi iki šiol. Lietuvai atgavus nepriklausomybę, ten įkurta Lietuvos kariuomenės drausmės kuopa bei kunigaikščio Vaidoto pulkas. Vėliau rūmuose kurį laiką veikė vidurinė mokykla, profesinė technikos mokykla, bendrabučiai. 1991–-1995 m. atstatytas rūmų varpinės bokštas ir ankstesnė (vėlyvojo baroko) stogo konstrukcija. Lietuvos Respublikos Vyriausybės nutarimu rūmai Žemaičių vyskupystės muziejui perduoti 1999 m.

Šalia rūmų išliko ir vadinamasis M. Valančiaus darželis – paties vyskupo pasodintas sodas, medžių alėja ir iškasta kūdra. Pasakojama, kad čia jis meditavo, mąstė bei bendravo su sukilėliais, tad darželis laikytinas ne ką mažiau svarbiu kultūrinio paveldo objektu.