Herzog 1934-ben hunyt el. Kollekcióját, amely a fénypontján összesen mintegy 2500 darabból állt, a felesége 1940-ben bekövetkezett halála után a három gyermeke örökölte. A második világháború és a zsidóüldözések következtében a gyűjtemény szétforgácsolódott; a nácik, a Vörös Hadsereg, valamint a magán tolvajok fosztogatása után megmaradt darabokat a kommunista magyar kormány lefoglalta. Szakértők szerint a magyar zsidók haláltáborba küldéséért felelős Adolf Eichmann is gazdagította képtárát a Herzog-vagyonból.
A Herzog-örökösök által követelt alkotásokat jelenleg a Magyar Nemzeti Galériában, a Szépművészeti Múzeumban, az Iparművészeti Múzeumban, valamint a Budapesti Műszaki és Gazdaságtudományi Egyetemen őrzik. Georg Pencz 16. századi német festő Sigismund Baldingerről készített portréja, amelyet a német állam tavaly szolgáltatott vissza a Herzog örökösöknek, júliusban 5 millió fontért kelt el egy Christie's-árverésen.
