Középfokú tanulmányait 1833-42-ben a debreceni református kollégiumban végezte. Ezt követően 1842-43-ban a késmárki evangélikus kollégiumban jogot tanult. Itt Hunfalvy Pál vezetése alatt különösen a görög klasszikus írók felé fordult a figyelme, egyúttal az ifjúság között alakult magyar nyelvgyakorló társaságnak is tagja volt. 1843 júniusában kitűnő sikerrel tette le jogi vizsgáit; ezután még egy évig Késmárkon joggyakornokoskodott. 1845-ben ügyvédi oklevelet szerzett. 1846-ban Fiumében tengerészeti tanfolyamra járt, de megbetegedése miatt kénytelen volt abbahagyni. 1844-45-ben Pozsonyban királyi táblai hites jegyző. 1847-48-ban Toldy Ferenc vezetésével a Magyar Tudósok Tára című, kéziratban maradt életrajzgyűjteményen dolgozott. E vállalkozás célul tűzte ki, hogy az összes magyar írók életrajzát és munkáik jegyzékét kiadja. 1848 végéig Toldynál lakott és mintegy nyolc kötetnyi életrajzot írt. 1848 első felében Békés városa tiszti ügyészének választotta, de a hivatalt nem fogadta el, és a szabadságharc kitörésekor a Békés megyei önkéntes nemzetőrök (szabadcsapat) közé lépett. A bánáti táborozás alatt több csatában vett részt, így 1849. április-májusban az aradi ostromseregben. Honvédként a főhadnagyságig vitte és néhány hónapig Okolicsny őrnagy segédtisztje volt. Különösen kitüntette magát Szenttamás ostrománál, ahol 40 nemzetőrrel lőszert szállított egy honvédszázadnak.
A világosi fegyverletétel után szülőföldjére vonult vissza. 1850 elején a Teleki-levéltárat rendezte gr. Teleki Józseffel, akinek haláláig (1855) segített A Hunyadiak kora Magyarországon című műve első öt kötetének elkészítésében, majd a halálát követően kiadta a kéziratban maradt további négy kötetet is. Közben 1850-ben báró Geringer saját kérelmére az egyetemi könyvtárhoz fizetés nélküli gyakornoknak nevezte ki. 1855-59-ben a nagykőrösi református gimnáziumban a görög nyelv tanára. Itt tanítottak akkor Arany János és Szilágyi Sándor is, s ezeknek társasága történeti irányú irodalmi működésére még inkább buzdítólag hatott. 1859-től Kolozsvárott az Erdélyi Múzeum-Egyesület könyvtárosa és egyúttal a református kollégium a görög nyelv tanára. 1872-től haláláig a kolozsvári egyetemen a magyar történelem nyilvános rendes tanára. 1881-82-ben a bölcsészet-, nyelv- és történettudományi kar dékánja, 1882-83-ban az egyetem rektora.
A középkori magyar történelem forrásaira vonatkozó kutatásai, valamint a magyar könyvészet megalapozásában végzett munkássága alapvető jelentőségű. Kezdetben a hun korszakkal foglalkozott. Attila király alakja komoly hatást gyakorolt rá. Kiadta Priszkosz rétor művét, több, a hunokról szóló külföldi könyvet ültetett át magyarra. Izgatta a székely-kérdés is, itt azonban cserbenhagyta kritikai érzéke. Értekezett a székelyek nevéről, a székelyek királyi letelepítéséről, régi törvényeikről és szokásaikról. Részt vett a Székely oklevéltár munkálataiban. Kiváló görög nyelvtudásának köszönhetően értékes megfigyeléseket tett Bíborbanszületett Konstantin magyar vonatkozású munkájáról. A bizánci forrásokból kinyert információkat később a nyugati kútfők adataival egészítette ki. Magyar fordításban adta közre Rogerius, Spalatói Tamás és Kézai Simon műveit. A magyar vezérek kora Árpádtól Szent Istvánig címen összefoglalta az államalapítás előtti időszak főbb jellemzőit. Tervezte, hogy kutatásait a későbbi évszázadokra is kiterjeszti, ennek jegyében született meg hosszabb műve IV. (Kun) László királyról. Lefordította Euripidész Válogatott színműveit (Pest, 1849), Szophoklész Oidipusz király (Kecskemét, 1857) című drámáját, és Kritobulosz II. Mehmet élete (Bp., 1875) című művét. Nevéhez fűződik a Régi Magyar Könyvtár című sorozat megindítása, amely a magyar nyelvű, továbbá a magyarországi írásbeliség nyomtatott részét elsőként tárta fel a teljesség igényével kora tudományos színvonalán a kezdetektől egészen a szatmári békéig terjedő időszakig. Első kötete 1879-ben jelent meg, s az 1531-1711 közötti magyar nyelvű nyomtatványok könyvészetét tartalmazza. A második kötet, amely 1885-ben látott napvilágot az 1473-1711 közötti hazai idegen nyelvű nyomtatványok könyvészetét adja.
1889-től a Magyar Protestáns Irodalmi Társaság választmányi tagja. A kolozsvári (1873) és a budapesti egyetem (1881) díszdoktora. Az MTA levelező tagja 1858. december 15-től, rendes tagja 1871. május 17-től. Akadémiai székfoglalóját Bíborban született Konstantin császár munkái magyar történeti szempontból ismertetve címmel 1860. január 23-án, majd Péter és Aba Sámuel címmel 1872. június 10-én tartotta.
Fő művei: Magyarország történetének forrásai. I-IV. Pest, 1860-64.; Erdélyi történelmi adatok. IV. Kolozsvár, 1862.; A magyar vezérek kora. Pest, 1869.; Apáczai Csere János Barcsai Ákos fejedelemhez benyújtott terve a magyar hazában felállítandó első tudományos egyetem ügyében. Pest, 1872.; Péter és Aba. Pest, 1872.; Székely oklevéltár. Kiad. I-IV. Bp., 1872-76.; Kisebb történelmi munkák. I-II. Bp., 1873.; Régi magyar könyvtár. Kiad. I-IV. Bp., 1879-85.; Kun László. Bp., 1886., reprint kiad. 1988.
Róla szóló irodalom: Schilling Lajos: Szabó Károly emlékezete. Kolozsvár, 1892.; Szádeczky Lajos: Szabó Károly emlékezete. Bp., 1894.; Szilágyi Sándor: Emlékbeszéd Szabó Károly felett. Bp., 1896.; Csánki Dezső: Szabó Károly emlékezete. Századok, 1924.; Rédey Tivadar: Szabó Károly centenáriuma. Magyar Bibliofil Szemle, 1924.; Borsa Gedeon: Szabó Károly. Könyvtáros, 1956.; Kereskényiné Cseh Edit: Az "excellens kis magyar." 100 éve halt meg Szabó Károly. Körösök Vidéke, 1990.
