Károlyi István ügyvéd és Beniczky Terézia házasságából született. Középiskoláit Nagykőrösön végezte. 1871-75-ben a pesti (budapesti) egyetemen jogot, 1875-77-ben állami ösztöndíjjal a bécsi Institut für österreichische Geschichtsforschungban történeti segédtudományokat - főként oklevéltant és paleográfiát - tanult. 1877-től a bécsi Haus-, Hof- und Staatsarchiv tisztviselője, 1893-tól osztálytanácsosi rangban második aligazgatója, 1897-től első aligazgatója, 1907-től udvari és miniszteri tanácsosi rangban, 1909-13-ban igazgatója. 1880-tól a budapesti egyetemen a 'XVI. századbeli magyar történet" c. tárgykör magántanára. 1893-ban a budapesti egyetem meghívta az elhunyt Salamon Ferenc helyére, de bécsi állása miatt a felkérést nem tudta elfogadni. 1920-28-ban a Bécsi Magyar Történeti Intézet igazgatója. 1933-ban Bécsből Budapestre költözött.
A módszeres magyar történetírás egyik úttörője volt. Kialakította a nagyszabású szintézisek szigorú, kritikai alapokon álló módszerét. Nagy mennyiségű és addig ismeretlen levéltári anyagot feldolgozó, mintaszerű munkáiban a nagy nemzeti küzdelmek problémáit tárgyalta. Eleinte a XVI-XVII. század, a bécsi levéltárak megnyitása (1919) után a XIX. századi magyar történelem kérdéseivel, Széchenyi István és Batthyány Lajos működésével foglalkozott. A pozitivizmus egyetemes színvonalú szemléletével a Staatsarchiv állagaiból is feltárt források alapján részletesen rekonstruálta a Bocskai-szabadságharc eseményeit, kitért a gazdasági és társadalmi vonatkozásokra is. Nagy hatást gyakorolt a levéltár ügyére. A mai Staatsarchiv újjárendezésének ügye az ő igazgatása alatt indult el. Aktívan részt vett a kutatások irányításában, számos magyar és külföldi kutatónak támpontot jelentett. Mint levéltáros nagy érdemeket szerzett a bécsi udvari levéltár magyar eredetű anyagának feltárásában. Szerkesztette a Magyar Országgyűlési Emlékek IX-XVII. kötetét.
Ő volt a Bécsi Magyar Történeti Intézet első igazgatója, a tisztségre Klebelsberg Kuno szemelte ki. Alatta élte az intézet fénykorát. A tagok munkáját állandó figyelemmel kísérte és felügyelte, mindig készen állt a szakmai tanácsadásra, segített a szükséges szakmai kapcsolatok megszerzésében-megtartásában. Megtört, alig halló öregemberként is biztos kézzel vezette az intézetet; tanácsokat kért és kapott Klebelsbergtől, de ő is ugyanígy tanácsokat adott neki.
A hivatalos történetírói iskolák között fontos szerepet töltött be a főként köré szerveződő bécsi magyar történetírói kör is, amelynek Károlyin kívül tagja volt Thallóczy Lajos (1856?1916), Kállay Benjámin (1839?1903), Angyal Dávid, majd a fiatal Szekfű Gyula és Eckhart Ferenc (1855?1957), de gyakran megfordult itt a korabeli történészek jelentős része. Az iskola jelentősége abban állt, hogy képviselői látogathatták a bécsi egyetem előadásait (a tanárok között volt ekkor pl. Heinz Dopsch, Oswald Redlich, Wilhelm Roscher, Inama Sternegg) és különösen a Theodor Sickel alapította Institut für die Österreichische Geschichtsforschung szemináriumait. Itt elsajátíthatták a Leopold Ranke nevével fémjelzett, ún. 'szakszerű', professzionális történetírás fogásait, amelyek között különösen a segédtudományokban való jártasság, a kútfőkritikai képzettség játszott fontos szerepet, s igen alapos alkotmány- és intézmény-, valamint gazdaság- és művelődéstörténeti képzettséget is szerezhettek. Az iskola nagy politikai vitákat folytatott az osztrák alkotmánytörténészekkel; a magyar kutatók védelmezték a magyar állami élet önállóságát, ugyanakkor nem álltak szemben a dualista berendezkedéssel, sőt hittek az Osztrák?Magyar Monarchia létjogosultságában, az osztrák és magyar érdekek egymásrautaltságában, hiszen felfogásuk szerint a közös 'pángermán' és 'pánszláv' veszedelem ellen a Habsburgok nyújthattak igazán védelmet.
A Magyar Tudományos Akadémia 1880. május 20-án levelező, 1889. május 3-án rendes, 1925. május 7-én tiszteleti tagjává választotta. Illésházy István hűtlenségi pöre című székfoglaló előadása 1881. június 3-án, Bocskay [István] szerepe a történetben című 1898. május 8-án hangzott el. 1910-től az Osztrák Tudományos Akadémia külföldi levelező tagja. 1917-től a Magyar Történeti Társulat tiszteletbeli tagja. 1924-ben címzetes államtitkárrá nevezték ki. 1930-ban Corvin-koszorúban, 1937-ben Corvin-láncban részesült. 1933-ban elnyerte a MTA Nagyjutalmát.
Fő művei: Adalék a nagyváradi béke s az 1536-1538 évek történetéhez. Bp., 1879.; A Dobó-Balassi-féle összeesküvés történetéhez 1569-1572. Bp., 1879.; A német birodalom nagy hadi vállalata Magyarországon 1542-ben. Bp., 1880.; Fráter György levelezése 1535-1551. Kiad. Bp., 1881.; Nádasdy Tamás nádor családi levelezése. Szerk. Szalay Józseffel. Bp., 1882.; Illésházy István hűtlenségi pere. Bp., 1883.; Buda és Pest visszavívása 1686. Bp., 1886; átd. Wellmann Imre, 1936.; A magyar alkotmány felfüggesztése 1673-ban. Bp., 1888.; A huszonkettedik articulus. Bp., 1889.; A vallásszabadság kérdése a korponai gyűlésen. Bp., 1894.; Adalékok Frigyes császár és Mátyás király viszályai történetéhez. Bp., 1892.; A korponai országgyűlés 1605-ben. Bp., 1895.; A kiegyezés ügye a kassai országgyűlésen 1606 tavaszán. Bp., 1899.; Bocskay és a bécsi béke. Bp., 1907.; Gróf Széchenyi István döblingi irodalmi hagyatéka. I-II. Kiad., bev. Bp., 1921-22.; Magyarország társjoga az udvari kincstár javaihoz és az uralkodócsalád hitbizományi javaihoz, történeti és számszerű hivatalos adatok világánál. Bp., 1922.; Néhány történelmi tanulmány. Bp., 1930.; Németújvári gróf Batthyány Lajos első magyar miniszterelnök főbenjáró pöre. I-II. Kiad., bev. Bp., 1932.; Az 1848-diki pozsonyi törvénycikkek az udvar előtt. Bp., 1936.
Róla szóló irodalom: Bittner Lajos: Károlyi Árpád, a levéltárnok. Levéltári Közlemények, 1933.; Szekfű Gyula: Károlyi Árpád, a történetíró. In: Emlékkönyv Károlyi Árpád születése nyolcvanadik évfordulója ünnepére. Bp., 1933.; Kozocsa Sándor: Károlyi Árpád irodalmi munkássága. Bécsi Magyar Történeti Intézet Évkönyve, 1933.; Domanovszky Sándor: Károlyi Árpád. Századok, 1940.; Eckhart Ferenc: Károlyi Árpád. Magyar Szemle, 1940.; Miskolczy Gyula: Károlyi Árpád. A Gr. Klebelsberg Kuno Magyar Történetkutató Intézet Évkönyve, 1940 [1943].; Horánszky Lajos: Magyarok Bécsben. Bp., 1941.; Angyal Dávid: Károlyi Árpád emlékezete. Bp., 1943.; Schneider Mária: Magyar kulturális intézetek Bécsben a két világháború között. A Bécsi Magyar Történeti Intézet és a Collegium Hungaricum. Magyarságkutatás, 1986.; Ujváry Gábor: Tudományszervezés - történetkutatás - forráskritika. Klebelsberg Kuno és a Bécsi Magyar Történeti Intézet. Győr, 1996.
