Kovács József szakmai tanulmányait 1968-ban kezdte el az Országos Szórakoztatózenei Központban, ahol előadóművészi szakvizsgát tett. 1967-ben tűnt föl a Táncdalfesztiválon, amelyen a Jöjj vissza hozzám kezdetű dallal viharos közönségsikert aratott. Ezután még két évben, 1968-ban és 1969-ben is megnyerte a fesztivál közönségdíját.
A Színház- és Filmművészeti Főiskola operett tanszakára 1971-ben jelentkezett. Három évvel később oklevelet szerzett olyan tanárok irányításával, mint Vályi Éva, dr. Sipos Jenő, Nádasdy Kálmán, Vámos László és Seregi László.
A Budapesti Operettszínházhoz 1971-ben került, itt a Mosoly országa című operett Szu-Csong hercegeként debütált. Ezután külföldi szerződést kapott, a grazi színházhoz került, ahol egészen 1990-ig szerepelt. 17 év után visszatérve Magyarországra létrehozta az Interoperett Kft.-t, amelyet mostanáig igazgatott. Munkája során számos fiatal énekes tehetséget fedezett fel.
Csepel önkormányzata 1997-ben díszpolgári címet adományozott neki, ugyanis minden évben karácsonyi koncertet adott az ott élőknek az Interoperett Társulatával.
Az énekes temetéséről később intézkednek.
