Tarvydų kaime XIX a. grafų Zubovų giminė pasistatė dvarą, o šalia jo kumetyną, skirtą dvaro samdiniams. Grafo Dmitrijaus Zubovo garbei dvaras ir kaimas pavadinti Dimitravo vardu (Tarvydo vardas jam suteiktas tik 1927 m.).

1937–1940 m. dvaro pastatai buvo paversti priverčiamųjų darbų stovykla, smetoninės Lietuvos valdžia čia kalino valdžiai nepalankius žmones, komunistus ir nusikaltėlius. Jie buvo verčiami rinkti iš apylinkių akmenis bei gabenti juos į kumetyne veikusią akmenskaldę.

Lietuvą okupavus vokiečiams, Dimitravo dvaro paskirtis darkart pasikeitė. 1941–1944 m. jame veikė koncentracijos stovykla, į kurią pirmiausia uždaryti Kretingos apskrities sovietų valdžios atstovai ir aktyvistai, vėliau joje įkalinta ir galiausiai nužudyta 500 Skuodo žydų bendruomenės moterų ir vaikų. Po jų į stovyklą surinktos sovietų karininkų šeimos, kurias vėliau išvežė į Vokietiją priverčiamiesiems darbams.

Vokietijos okupacijos pabaigoje, 1944 m., Dimitravo stovykloje kalėjo ūkininkai, nesugebėję arba nenorėję vykdyti tuometinės valdžios nustatytų žemės ūkio prievolių. 1944 m. stovykloje buvo apie 500 kalinių.

1944 m. liepos 9 d. jie surengė maištą ir pabėgo. Dalį jų vokiečiams pavyko grąžinti, tačiau po trijų mėnesių visa vokiečių kariuomenė jau traukėsi ir dar vieno kalinių maišto sustabdyti nebesugebėjo.

1944-ųjų pabaigoje sovietų valdžia Dimitrave įkūrė karinę stovyklą, kurioje vyko šauktinių apmokymai bei seržantų paruošimas. Karui pasibaigus, dvare įkurtas „Vienybės“ kolūkis. Vėliau dvare atidarytas Kretingos kraštotyros muziejaus filialas, tačiau 1995 m. jis uždarytas. Šiandien pastatas visuomeninės funkcijos neatlieka.