Alig 23 éves anyja két héttel születése után meghalt, apja pedig, aki tekintélyes építőmester és kőfaragó volt, anyai nagyszüleihez adta Nyergesújfalura. Kernstok itt töltötte gyermekkorát, de elemi és középiskoláit már a fővárosban végezte; tanára volt az irodalomtörténész és esztéta Péterfy Jenő is, akiről egyik legkorábbi ismert rajzát készítette.
Alapfokú művészeti ismeretekre nagybátyja, Kernstok József festőművész oktatta. 1888-ban beiratkozott az Iparművészeti Iskolába, ám onnan 1891-ben eltanácsolták. Ezután Hollósy Simon müncheni festőiskolájában folytatta tanulmányait, 1893-tól pedig a párizsi Julian Akadémiára járt. Hazatérve 1896-tól három évig Benczúr Gyula mesteriskoláját látogatta, bár annak akadémikus szelleme távol állt tőle. 1897-től újra Párizsban alkotott, 1900-ban Itáliában utazgatott Masolino, Masaccio, id. Pieter Bruegel, valamint Rubens művészetét tanulmányozva. A Műcsarnokban kiállított arcképeivel 1898-ban Ráth György-díjat kapott, majd 1900-ban elnyerte a Műbarátok Köre ösztöndíját.
Eleinte Courbet, Millet és Meunier hatása alatt realista és naturalista képeket festett. Nevezetes ifjúkori munkáját, az Agitátor a gyár kantinjában című négy négyzetméteres képét 1896 végén, 1897 elején festette. Ekkor még Kernstock formában jegyezte képeit, vezetékneve írásmódját 1900-tól módosította. E korszakának jelentős képei még a Hajóvontatók és a Munkából. 1898-ban unokatestvérétől és későbbi feleségétől, Ujváry Ilonától megszületett fia, ifj. Kernstok Károly, aki szintén festő lett.
Kernstok művészetére a századfordulótól egyre jobban hatott az impresszionizmus: olyan plein air képeket alkotott, mint a Diószedők, a Lányok a tornácon vagy egyik leghíresebb műve, a Szilvaszedők. 1902-ben megtervezete Léderer Artúr fővárosi házának homlokzati mozaikképeit, amelyeket Róth Miksa készített el. Ezután egyszerűbben, stilizáltan fejezte ki gondolatait, alakjait félhomályba rejtette – ezt példázza a Krisztus és az emmauszi ifjak. Képein a színek játéka később posztimpresszionista hatásokkal együtt tért vissza.
Műveit bemutatta a MIÉNK (Magyar Impresszionisták és Naturalisták Köre) kiállításain, majd 1907-től a Nyolcak alapító vezetője lett, az új festői törekvések élére állt. A csoport Új képek címmel a Könyves Kálmán Szalonban 1909 végén mutatta be képeit, amelyek a szecesszió, Cézanne, a párizsi Vadak, a kubisták és az expresszionisták stílusjegyeit viselték magukon. Kernstok képei 1910-ben Berlinben, egy év múlva a Nyolcak Nemzeti Szalonbeli bemutatóján és önálló tárlaton is szerepeltek.
A festő bekapcsolódott a polgári radikálisok, a Társadalomtudományi Társaság és a Galilei Kör tevékenységébe. 1910-től művészetpolitikai, művészetpedagógiai és esztétikai írásokat publikált a Nyugatban és más folyóiratokban. Nyergesújfalun épített villájában vendégeskedett Ady Endre, Czóbel Béla, Derkovits Gyula, Feszty Árpád, Szőnyi István, Vaszary János és Jászi Oszkár. Szabadkőművesként 1909-ben megalapította a Március páholyt, majd öt év múlva az Országos Radikális Párt társalapítójaként, 1918-ban az esztergomi pártszervezet elnökeként is tevékenykedett.
Életműve csúcsának tekinthető a Magyar Nemzeti Galéria gyűjteményében található Lovas kompozíció (Lovasok) 1912-ből, háttérben az esztergomi bazilikával. Megemlítendők továbbá a budapesti Schiffer-villa üvegfestményei, a debreceni vármegyeháza üvegablakai a hét honfoglaló vezér alakjával, illetve a budapesti Dugonics utcai (ma Vas utcai) fiúiskola tornatermét díszítő Ősvadászok című freskó. Az 1910-es években vált jelentőssé grafikai munkássága is: fiúaktokat, lovasokat, rohanó és ágaskodó lovakat rajzolt hangsúlyos kontúrokkal.
Az első világháború alatt festett tájképei, mozaikjai természetközelségéről tanúskodnak. 1918 októberében meggyőződéssel vetette bele magát az őszirózsás forradalomba, a Károlyi Mihály köztársasági elnök vezette Magyar Nemzeti Tanácsban a művészeti ügyek kormánybiztosa lett. Az 1919-es Tanácsköztársaság alatt Budapesten, a Haris közi szabadiskolában oktatott, a művészi direktórium megbízásából Nyergesújfalun szabad művészeti iskolát indított – növendékei közé tartozott Derkovits Gyula is. A kommün bukása után börtönbe került, csak művésztársa, Márffy Ödön közbenjárására szabadult ki. A magyar avantgárd más képviselőivel együtt Kernstok is emigrált, Berlinben telepedett le. 1919-ben fejezte be Zivatar című képét. 1925-ben festette a bukott forradalomra való utalással az Utolsó vacsorát, a magyar expresszionista festészet egyik remekét.
Ugyanebben az évben, az amnesztia és első felesége halála után hazatért, majd egy év múlva újra megnősült. Gyakori vendég volt a Szolnoki Művésztelepen, és tagja lett a Képzőművészek Új Társasága (KÚT) művésztanácsának. Festészetében a zaklatottságot a fanyar egyszerűség váltotta fel. Expresszív, az ókori görög vázafestészet, az etruszk és a kora középkori falképek stílusát ötvöző látásmód jellemzi az 1930-as években készült műveit, mint a Sírbatétel, a Szép Heléna elrablása vagy az Ádám és Éva. 1928-ban és 1933-ban az Ernst Múzeum gyűjteményes kiállítást rendezett munkáiból.
Kernstok Károly 1940. június 10-én agyvérzésben hunyt el Budapesten. Nyergesújfaluban utca és általános iskola viseli a nevét, szobra az iskola előcsarnokában látható. Felújított villáját 2022-ben adták át.
Nyitókép: Kernstok Károly: Önarckép fehér kalappal (1900 körül, részlet)