Középfokú tanulmányait a budapesti református főgimnáziumban végezte. 1897-ben a budapesti egyetemen bölcsészdoktori oklevelet szerzett. 1898-tól a Magyar Nemzeti Múzeum könyvtárának (OSzK) tisztviselője, 1899-től könyvtári asszisztens, 1901-től könyvtári segédőr. 1908-tól a kassai Felső-magyarországi Múzeum miniszteri biztosa, 1909-13-ban igazgatója. 1913-34-ben a Magyar Nemzeti Múzeum érem- és régiségtárának igazgatója 1920-33-ban az Magyar Nemzeti Múzeum képviselőjeként az Ausztriától visszaigényelt magyar műkincsekről tárgyaló bizottság tagja. Átrendezte és újra felállította az Magyar Nemzeti Múzeum Történeti Osztályát. 1934-ben visszavonult.
A középkori magyar művelődés- és művészettörténet egyes kérdéseivel, valamint történeti segédtudományokkal foglalkozott. 1898-ban fedezte föl a második legrégebbi magyar nyelvemléket, a Gyulafehérvári glosszákat, amelyek Watachai János budai Szent Ferenc-rendi szerzetes Memoriale-féle jegyzőkönyvében a latin szöveg közt talált három versszak (latinból fordítva) a XIV. század elejéről, és így a Halotti beszéd után legrégebbi nyelvemlékünk. A Magyar Tudományos Akadémiában 1898. november 28-án mutatták be Varjú bevezetésével, s a feltaláló nevéről Varjú-kódexnek nevezték el. 1901-08-ban a Turul (1907-ig Schönherr Gyulával), 1915-22-ben az Archaeologiai Értesítő, valamint a Magyar Nemzeti Múzeum Érem- és Régiségtárának Közleményei szerkesztője. A Magyar Művelődéstörténet (I-V. Bp., 1939-42., reprint kiad. Szekszárd, 1991., 1993.) képszerkesztője.
1927-től haláláig a Magyar Heraldikai és Genealógiai Társaság másodelnöke. Az MTA levelező tagja 1915. május 6-tól. Akadémiai székfoglalóját A középkori magyar művészet problémája címmel 1916. április 3-án tartotta.
Fő művei: A gyulafehérvári Batthyány-könyvtár. Bp., 1899.; A Szalók-nemzetség. Bp., 1902.; A Hunyadiak síremlékei a gyulafehérvári székesegyházban. Magyarország műemlékei, I. Bp., 1905.; Oklevéltár a Losonczi Bánffy-család történetéhez. Bp., 1908.; Az Árpádok ábrázolása. Bp., 1908.; A Szent Korona. Bp., 1922.; Legendae Sancti Regis Stephani - Szent István király legendái. Ford. Bp., 1928.; Szent István koporsója. Bp., 1930.; Ernst Lajos magyar történeti gyűjteménye. Höllrigl Józseffel. Bp., 1932.; Magyar várak. Bp., 1933.
Róla szóló irodalom: B[ottló] B[éla]: Varjú Elemér. Turul, 1944-1946.; Tóth Zoltán: Varjú Elemér. Magyar Múzeum, 1945.; Tápay Szabó Gabriella: Varjú Elemér. Századok, 1945-1946.; Galambos Ferenc: Varjú Elemér és a magyar könyvtártudomány. Könyvtáros, 1975.
