A családban élő hagyomány szerint nagyszülei az erdélyi örmények egyik fészkéből, Erzsébetvárosból költöztek Gyulára, s maguk között még gyakran beszéltek örményül. A Édesapja, Karácsonyi János szűcsmester volt, édesanyja, Papp Terézia régi, törzsökös gyulai
család sarja. Elemi iskoláit szülővárosában, a gimnáziumot a nagyváradi premontreieknél végezte. 1882. július 2-án pappá szentelték, 1885-ben teológiai doktori oklevelet szerzett a budapesti egyetemen. 1882-83-ban Békésen, 1883-89-ben Nagyvárad-Olasziban káplán, 1889-től a nagyváradi római katolikus líceumban az egyháztörténet és egyházjog helyettes, 1889-94-ben rendes tanára volt. 1894-1904 között biharpüspöki plébános, 1904-05-ben a budapesti egyetem hittudományi karán az egyháztörténet nyilvános rendes tanáraként oktatott. 1905-ben nagyváradi kanonokká nevezték ki, 1907-től hollótavi címzetes prépost, 1916-tól vovadrai választott püspök, 1922-től a nagyváradi káptalan nagyprépostja volt.
A történelem iránti érdeklődése már középiskolás korában megmutatkozott. Főként Magyarország középkori történetével, magyar egyháztörténettel, és Békés vármegye múltjával foglalkozott. A középkori magyar nemzetségekre vonatkozó kutatásai máig meghatározóak. Fraknói Vilmos püspök támogatásával másfél évet Rómában töltött, hol különösen a vatikáni levéltár Anjou-kori okmányainak tanulmányozásával foglalkozott, s e területen egyik legkiválóbb szaktekintéllyé képezte ki magát. 1885-ben tűnt fel először Magyarország és a nyugati egyházszakadás című munkájával. Két évvel később jelent meg Szent Gellért élete és művei című tanulmánya, amellyel elnyerte a budapesti tudományegyetem hittudományi karának Ipolyi-pályadíját. Előszeretettel foglalkozott a magyar egyház történetével, 1906-ban a magyarországi katolikus egyház történetét főbb vonásaiban meg is írta. Ezen a területen másik nagy alkotása; Szent Ferenc-rendjének magyarországi története. Ezenkívül a magyarok megtéréséről, a magyar prímási méltóság keletkezéséről, a szent királyokról, a Hartvik legendáról, számos egyházról, monostorról, apátságról, prépostságról, káptalanról, püspökségekről, a görög egyházzal való kapcsolatokról számos tanulmányt és könyvet írt. Kiadta továbbá a váradi tüzesvas-próbáról szóló művet.
Figyelme a világi témákra is kiterjedt. Értekezett a magyar nemzet őstörténetéről, a magyarok honalapításáról, az ország régi határairól, a magyar nemzetnek ehhez való jogáról, az Árpád királyok birtokairól, a székelyek eredetéről és régi történeteiről, Szent István okleveleiről és a Szilveszter-bulláról. Összeállította a hibás keltezésű és a keltezetlen oklevelek jegyzékét, amely a diplomatika szempontjából volt jelentős. Heraldikai és genealógiai témákkal is szívesen foglalkozott, különösen nagy kedvvel publikált a Magyar Nyelv című folyóiratban személy- és helynevekről. Kibővítette az egyes történeti személyekre vonatkozó ismereteket. Írt Gézáról, Szent Istvánról, Szent Imre hercegről, Szent Adalbertről, I. András király atyjáról, Szent Lászlóról és Szent Erzsébetről, Kun Lászlóról, Toldi Miklós származásáról, Trencséni Csák Mátéról, Hunyadi Jánosról, Thököly Imréről, II. Rákóczi Ferencről. Maradandót alkotott Karácsonyi János A magyar nemzetségek története monumentális művével is, melynek 1900?02-ben megjelent két kötetét a Magyar Tudományos Akadémia 1903-ban Péczely jutalommal tüntette ki.
Külön figyelmet szentelt szűkebb pátriájának, Békés megyének. Tevékeny szerepet vállalt a Békésvármegyei Régészeti és Művelődéstörténeti Társulatban, 1885-ben titkára, 1887-ben főtitkára volt. 1887-től 1896-ig, tehát egy évtizeden át dolgozott Békés vármegye történetén, mely három nagy kötetben, több mint ezer oldalon jelent az meg. Első kötete a megye históriáját tekinti át a kezdetektől 1864-ig, a második kötetben a települések történetét foglalja össze, a harmadik kötet a megyében lévő családok históriájának rövid ismertetése. A kor történetírói gyakorlatán túlmutató forráskezelés és a könyvek tematikája valóban modern munkává tette könyvét. A rengeteg anyag összegyűjtése mellett felhívta a figyelmet a gyulai uradalom nagy múltjára és országos jelentőségére. 1893-tól kezdve levéltárról levéltárra járva eljutott a müncheni birodalmi levéltárba is, melynek brandenburgi aktái között gazdag gyulai vonatkozású anyagot talált a Hohenzollern György herceg korából, aki egykor Gyula földesura volt.
A Magyar Tudományos Akadémia 1896. május 15-én levelező, 1904. május 13-án rendes taggá választotta. A pusztaszeri monostor kegyurai című székfoglaló előadása 1897. február 8-án, A székelyek eredete és Erdélybe való települése 1904. december 5-én hangzott el. 1916-ben a Szent. István Akadémia rendes, 1927-ben tiszteli tagjává választották. 1927-től t. tagja. 1910-től a Biharvármegyei és Nagyváradi Régészeti és Történeti Társulat alelnökségi, 1922-től elnökségi tisztségét látta el. 1918-26-ban a Magyar Heraldikai és Genealógiai Társulat másodelnöke, 1926-tól haláláig tiszteletbeli elnöke volt.
Fő művei: Magyarország és a nyugati egyházszakadás. Nagyvárad, 1886.; Szent Gellért élete és művei. Bp., 1887.; IX. Bonifác bullái. Századok, 1890.; Szent István oklevelei és a Szilveszter-bulla. Bp., 1891.; Kik voltak az első érsekek? Századok, 1892.; Békés vármegye története. I-III. Gyula, 1896.; A pusztaszeri monostor kegyurai. Bp., 1897.; Az aranybulla keletkezése és első sorsa. Bp., 1899.; A magyar nemzetségek a XIV. sz. közepéig. I-III. Bp., 1900-02., reprint kiad. 1995.; A hamis, hibás keltű és keltezetlen oklevelek jegyzéke 1400-ig. Bp., 1902., reprint kiad. szerk., előszó Koszta László. Szeged, 1988.; Az időrendbe szedett váradi tüzesvaspróba lajstrom. Szerzőtárs: Borovszky Samu. Bp., 1903.; Szent István király élete. Bp., 1904., reprint kiad. Királyszentistván-Veszprém, 1994.; A székelyek eredete és Erdélybe való települése. Bp., 1905.; Magyarország egyháztörténete. Nagyvárad, 1906., reprint kiad. Csorba László előszavával. Bp., 1985.; Hogyan lett Szent István koronája a magyar szent korona felső részévé? Bp., 1907.; Egyháztörténeti emlékek a magyarországi hitújítás korából. Szerk. Kollányi Ferenccel, Lukcsics Józseffel. Bp., 1912.; A horvát történetírás zátonyai. Századok, 1912.; Kik voltak s mikor jöttek be hazánkba a böszörmények? Bp., 1913.; A moldvai csángók eredete. Századok, 1914.; Szent László meghódítja a régi Szlavóniát. Bp., 1916.; A magyar nemzet történeti joga hazánk területéhez. Bp., 1916., rövidítve angolul, franciául, németül, olaszul:1921.; A váradi káptalan megrontása. Bp., 1922.; Szent Ferenc rendjének története Magyarországon 1711-ig. I-II. Bp., 1922-24.; Szent Gellért csanádi püspök és vértanú élete. Bp., 1924.; A székelyek ősei és a székely magyarok. Kolozsvár, 1924.; Szent László király élete. Bp., 1926.; Karácsonyi János írásai Gyula történetéből. Összeáll., bev., jegyz. Kereskényiné Cseh Edit. Gyula, 1990.
Róla szóló irodalom: Csánki Dezső: Karácsonyi János. Századok, 1929.; Bíró Vencel: Karácsonyi János. Cluj-Kolozsvár, 1928.; Szentpétery Imre: Karácsonyi János emlékezete. Turul, 1929.; Bíró Vencel: Karácsonyi János tiszteleti tag (1858-1929) emlékezete. Bp., 1943.; Erdélyi László: Karácsonyi János rendes tag és Sörös Pongrác 1evelező tag emlékezete. Bp., 1944.; Szabó Ferenc: Karácsonyi János megyetörténetének születése és sorsa. Békési Élet, 1971.; Glatz Ferenc: Trianon és a magyar történettudomány. Történelmi Szemle, 1978.; Erdész Ádám: Karácsonyi János történeti munkássága. Gyula, 1983.; Karácsonyi János történetíró születésének 125. évfordulója tiszteletére rendezett ülésszak előadásai. Gyula, 1983.; Merényi Metzger Gábor: Karácsonyi János egyházi pályája és forrásai a Békés Megyei Levéltárban. Magyar Egyháztörténeti Vázlatok, 1996.; Jároli József: Karácsonyi János munkássága. Honismeret, 2001.; Karácsonyi János élete és munkássága. 1858-1929. Szerk.: Petróczki Zoltán. Gyula, 2008.
