Budapesten született pedagógus szülők gyermekeként. A Bartók Béla Zeneművészeti Szakközépiskolában 1968-ban fejezte be tanulmányait zeneszerzés szakon, közben zongorázni is tanult. A középiskolában, tizenöt évesen zenekart szervezett évfolyamtársaiból, akikkel eljátszották Beethoventől a Coriolan-nyitányt, érdeklődése ekkor fordult a dirigálás felé. Mivel a Zeneakadémián csak ötévente indult karmesterképzés, 17 évesen korengedménnyel kellett megfelelnie a felvételin. 1973-ban vette kézhez karmesteri diplomáját Kórodi András és Simon Albert tanítványaként, később a zongora szakot is elvégezte. 1973-ban lett a Magyar Állami Operaház tagja, 1976-tól karmesterként szerződtették. Főiskolai évei alatt kevésbé kedvelte az opera műfaját, s azt gondolta, ad magának egy „próbaévet” az Operaházban, ami azóta is tart.
Elsőként Mozart A varázsfuvola című operájának előadásán állt a karmesteri pulpitusra.
Ezután végigjárta a ranglétrát: 1987 és 1990 között az Operaház vezető karmestere, 2002-től első karmestere, 2002-ben, 2006–2007-ben megbízott főzeneigazgatója, 2011 augusztusában egy rövid ideig megbízott főigazgatója volt.
1979 és 1981 között a Bayreuth-i Ünnepi Játékok zenei asszisztenseként tevékenykedett, vendége volt a Badisches Staatstheaternek, a pozsonyi Nemzeti Színháznak és a berlini Komische Opernek is. Több éven át volt a Szlovén Filharmonikusok első vendégkarmestere, jelenleg is a Tokiói Filharmonikusok állandó, első vendégkarmestere.
Számos európai városban fellépett vendégkarmesterként az Operaház társulatával, a Nemzeti Filharmonikusokkal a többi közt Németországban, Spanyolországban, Brazíliában és Kínában turnézott. 2001-ben a Budapesti Filharmóniai Társaság első vendégkarmestere lett. Vendégként szinte minden magyar zenekar élén dirigált, fellépett a Budapesti Fesztiválzenekarral, a Nemzeti Filharmonikusokkal, a Miskolci Szimfonikusokkal, a MÁV Szimfonikusokkal és a Concerto Budapesttel. A 2014/2015-ös évadban a Magyar Rádió Szimfonikus Zenekarának vezető karmestere volt.
Repertoárja felöleli a klasszikus és romantikus operák mellett a kortárs darabokat is, több magyar mű ősbemutatóját vezényelte.
Nemcsak a munkája, magánélete is a zenéről szól. Felesége Sudlik Mária Liszt Ferenc-díjas operaénekes volt, aki nélkül saját bevallása szerint sose lett volna sikeres operakarmester.
Bartók Béla A kékszakállú herceg vára című operáját csaknem száz alkalommal, több rendezésben is dirigálta. A következő évadban Bizet Carmenjét és Vajda János 2020 októberében bemutatott, A képzelt beteg, avagy őfelsége komédiása című operáját dirigálja az Operaház Eiffel Műhelyházában.
A legendásan társulatpárti karmester inkább az élő zenét kedveli, mint a lemezfelvételeket, a zeneművek közül mindig azt szereti, amivel épp foglalkozik.
Egy néhány évvel ezelőtti nyilatkozata szerint kedvencei Schubert zongora- és szimfonikus darabjai, a karmesterek közül pedig Furtwängler, aki véleménye szerint a legközelebb állt Wagnerhez. Úgy tartja: egy muzsikus feladata abban áll, hogy közel kerüljön a zeneszerzőhöz, megpróbálja kiolvasni a szándékát, és a legnagyobb meggyőződéssel közvetítse azt.
Kovács János művészete elismeréseként a többi közt megkapta a Liszt Ferenc-díjat (1985), az érdemes művész címet (1996), a Gundel művészeti díjat (2004), valamint a Bartók Béla–Pásztory Ditta-díjat (2007). 2001-ben Kossuth-díjjal tüntették ki a komolyzenei műfajok tolmácsolásában kimagasló értéket képviselő, nemzetközi hírű karmesteri működéséért, a zenekari munka tökéletes föloldásáért a zene szellemében, példaértékű művészi tevékenysége elismeréseként. 2010-ben az Operaház örökös tagja, 2016-ban mesterművésze lett. 2015-ben Prima Primissima Díjban részesült. 2018-ban a Magyar Érdemrend középkereszt polgári tagozat kitüntetést vehette át. Két éve Artisjus előadóművészi díjjal, az elmúlt évben a Cziffra Fesztivál Életműdíjával tüntették ki.
Nyitókép: Kovács János karmester vezényli a Pannon Filharmonikusok zenekart a Budapesti Tavaszi Fesztivál nyitókoncertjének főpróbáján a Művészetek Palotájában, a Bartók Béla Nemzeti Hangversenyteremben 2014. március 18-án. Fotó: MTI/Kovács Tamás
