Heinrich hrabia von Brühl wielokrotnie był nagradzany przez królów Augusta II i Augusta III ekspektatywami dóbr rycerskich, co do których można było oczekiwać wygaśnięcia rodziny właścicieli z powodu braku potomstwa. W ten sposób przyrzeczono mu również w roku 1732 Seifersdorf.
Gdy w roku 1747 zmarł pan na Seifersdorfie, Hans Georg von Grünrodt, nie pozostawiając męskiego potomka, majątek ziemski przypadł dzięki ekspektatywie premierowi. Brak jest dowodów na to, czy Heinrich hrabia von Brühl był kiedykolwiek w Seifersdorfie. Po jego śmierci spadek zarządzany był początkowo komisarycznie. Aby spłacić długi, synowie musieli stopniowo sprzedawać własność ziemską. Hans Moritz hrabia von Brühl, najmłodszy syn premiera, otrzymał ze spadku na początku posiadłość rycerską Zschepplin koło Eilenburga. Gdy okazało się, że można tę posiadłość utrzymać, zdecydował się w roku 1774 przejąć także dobra rycerskie w Seifersdorf, które miały znacznie mniejszą wartość.
Dobra rycerskie i pałac Seifersdorf pozostawały przez pięć pokoleń w posiadaniu rodziny – do momentu jej wywłaszczenia w 1945 roku. Karl hrabia von Brühl odziedziczył w 1909 posiadłość hrabiów von Renard w Groß Strehlitz (obecnie Strzelce Opolskie) na Górnym Śląsku i przyjął nazwisko „hrabia von Brühl-Renard“. Ponieważ nie miał dzieci, wraz z nim w roku 1923 wymarła rodzinna gałąź seifersdorfska w linii męskiej. Ostatnią mieszkanką pałacu była jego druga żona Agnes.
Christina von Brühl, zwana Tiną, żona hrabiego Hansa Moritza von Brühla, stworzyła pod koniec XVIII wieku w Seifersdorfie „dwór artystyczny“, korespondowała z poetami, malarzami i muzykami, zapraszała ich i inspirowała do tworzenia artystycznych dzieł. Sama założyła w dolinie Seifersdorf romantyczny park krajobrazowy.
Obecnie: Pałac Seifersdorf należy do gminy Wachau. Aktualnie jest remontowany i rozbudowywany na centrum kultury.