1905-ben a budapesti egyetemen jogtudományi és államtudományi doktori oklevelet szerzett. Kezdetben hivatalnoknak készült, 1906-tól a Magyar Országos Levéltár tisztviselőjeként kezdte meg pályáját. 1922-től főlevéltárnok, 1934-től főigazgatóvá nevezték ki, munkáját lelkiismeretesen látta el. Hivatali karrierje együtt haladt az intézmény felvirágzásával. 1935-től egyidejűleg a Magyar Nemzeti Múzeum ügyvezető alelnöki tisztségét is betöltötte. 1940-től a hiteleshelyi levéltárak országos főfelügyelőségével bízták meg. 1935-től a Magyar Könyvtárosok és Levéltárosok Egyesületének alelnöke volt. Amikor a Nemzeti Múzeum Levéltára átkerült az Országos Levéltár anyagába, elvégezte ennek szerves beillesztését. Ő létesítette a nagy értékű iratfénykép-gyűjteményt, felállította az erdélyi kormányhatósági levéltárakat s előkészítette a levéltári országos főfelügyelet rendszerét.
Főként újkori magyar gazdaságtörténeti, valamint levéltári kérdésekkel foglalkozott. 1924-27-ben több alkalommal a Bécsi Magyar Történeti Intézet tagjaként levéltári kutatásokat folytatott Bécsben. Egész életműve kiszakíthatatlanul összeforrt a Magyar Országos Levéltár sorsával. Hivatását úgy fogta fel, hogy háttérben maradva a kutatók egész seregét segítette hozzá eredményeikhez, éppen ezért nyomtatásban megjelent irodalmi munkássága viszonylag csekélynek tűnik. Ugyanakkor szinte minden egyes iratot ismert a régi kormányhatóságok ügykezeléséből, sajnos több jelentős munkája kéziratban maradt. Rengeteg fond, állag rendezése fűződik a nevéhez. Nem tudta befejezni Pozsony megye tervezett történeti földrajzát, amelyhez ? Csánki Dezső művének szakavatott folytatójaként ? éveken át gyűjtötte az adatokat. Megjelent tanulmányait a precizitás jellemezte, az információkat a lehető legalaposabban szedte össze, a forrásokat megfelelő kritikával kezelte. Leginkább az újkori hivataltörténetben érezte otthon magát, több értekezésével a magyar kamara egy-egy fontos fejezetét örökítette meg. Állást foglalt a proveniencia elvének alkalmazása mellett, lerakta a modern levéltártudomány alapjait.
A Magyar Tudományos Akadémia 1936. május 14-én választotta levelező tagjává. Skóciai Szent Margit származásának kérdése című székfoglaló előadása 1939. április 24-én hangzott el. 1917-től választmányi tagja volt a Magyar Történelmi Társulatnak.
Fő művei: Újabb adatok Bethlen Gábor és Károlyi Zsuzsanna síremlékéről. Századok, 1921?1922.; A tarcali királyi uradalmi és kincstári szőlő keletkezése. Levéltári Közlemények, 1923.; A magyar kincstár háborús hitelműveletei Grassalkovich kamaraelnöksége idején. Századok, 1924.; A magyar királyi hitelfőpénztár megszervezése és működése Mária Terézia korában. Századok, 1925.; Adatok a hazai építészet XVI. századi történetéhez. Magyar Művészet, 1926.; Az Országos Levéltárban őrzött nádori levéltár 1554-1781. évi iratainak jegyzéke. Bp., 1928.; A magyar kamarai levéltár története. Levéltári Közlemények, 1928., 1929.,1931.; Magyar levéltári terminológia. Levéltári Közlemények, 1932.; A magyar provinciális tábla. II. József telekkönyvi kísérlete. In: Emlékkönyv Károlyi Árpád születése nyolcvanadik évfordulója ünnepére. Bp., 1933.; Skóciai Szent Margit származásának kérdése. Bp., 1939.; A Kápolnai-család hamis okleveleiről. Turul, 1940.
Róla szóló irodalom: Wellmann Imre: Herzog József. Századok, 1941.; Szekfű Gyula: Egy magyar levéltárnok. In: Szekfű Gyula: Állam és nemzet. Bp., 1942.; S. [Sinkovics István]: Herzog József. Levéltári Közlemények, 1942-1945.
