1938. július 8-án Matyóföldön, a Borsod megyei Mezőkeresztesen született. Szülei papnak vagy orvosnak szánták, de őt inkább az asztalitenisz és az ökölvívás vonzotta, bokszolónak készült. Tizenhat évesen egy vereség után elment a kedve a sportágtól, de egyre nagyobb sikereket aratott Miskolcon a középiskola színjátszó körében. Érettségi után azonnal felvették a Színház- és Filmművészeti Főiskolára, hallgatóként a Vígszínházban játszott, ahol ösztöndíjat is kapott.
Diplomájának megszerzése után, 1963-ban a Miskolci Nemzeti Színházhoz szerződött, egy évvel később a kecskeméti Katona József Színházhoz hívta Radó Vilmos igazgató, 1965-től egy évtizeden át a budapesti József Attila Színház tagja volt. 1974-től 1981-ig a Vígszínház társulatához tartozott, majd a Madách Színházban játszott. 1992-től szabadúszóként fellépett a Turay Ida Színházban, a Körúti Színházban és a Budaörsi Játékszínben, több darab rendezőjeként is bemutatkozott. 2012 óta az Újszínházhoz köti szerződés, ahol nemcsak játszik, hanem több darabot is színpadra állított, köztük Csurka István művei mellett Gyurkovics Tibor Nagyvizit című darabját, amelynek 1972-es ősbemutatójában ő is játszott.
Pályafutása során félszáz színpadi és mintegy 300 filmszerepet játszott el.
Kedvenc színpadi szerepe Molnár Ferenc Liliom című drámájának címszerepe és McMurphy alakja Ken Kesey Száll a kakukk fészkére című darabjában, emellett jelentős alakítást nyújtott mint Szakhmáry Zoltán (Móricz: Úri muri), Jago (Shakespeare: Othello), Vang vízárus (Brecht: A szecsuáni jólélek), Lucifer (Madách: Az ember tragédiája), Queeg (Herman Wouk: Zendülés a Caine hadihajón) és Bánk bán Katona József drámájában.
Már főiskolásként, 1962-ben a kamera elé állt a Legenda a vonaton című filmben, a következő évben kisebb szerepet kapott a Hattyúdalban. Munkásfiút formált meg a Tilos a szerelem című filmben, és játszott a Jókai művéből Várkonyi Zoltán által rendezett látványos filmben, A kőszívű ember fiaiban is. A Sikátor című tragikus szerelmi történetben Törőcsik Mari volt a partnere, és feltűnt a Hideg napok című filmben is. 1968-ban szerepelt az Egri csillagok filmváltozatában, A völgy című drámában és a Bors című népszerű tévésorozatban, utóbbiban Bujtor Istvánnal alakították a kétbalkezes rendőrnyomozó párost, Dezsőt és Oszit. 1970-ben a Gyula vitéz télen-nyáron című vígjátékban gyári munkás volt, aki egy tévésorozat hőseként lesz népszerű.
A Verne regénye nyomán forgatott Dunai hajós című kosztümös film főszerepe után A fekete gyémántok című Jókai-filmadaptációban szerepelt. 1978-ban és 1980-ban Fábri Zoltán rendezte a Magyarok és a Fábián Bálint találkozása Istennel című filmekben; a Magyar rapszódiában és az Allegro Barbaróban Jancsó Miklós instruálta. Szerepelt az 1992-ben, szintén Jókai műve alapján forgatott, Zsurzs Éva rendezte A névtelen vár című tévésorozatban, játszott Bujtor István Csak semmi pánik című bűnügyi vígjátékában, 1996-ban pedig a Rejtő-könyvekből készült A három testőr Afrikában című alkotásban. Kisebb szerepet kapott az Arnold Schwarzenegger főszereplésével Magyarországon forgatott A vörös zsaru című filmben, valamint a Costa Gavras rendezte Zenedoboz című drámában. Egyik legutóbbi filmes munkáját Kamondi Zoltán utolsó rendezésében, a Halj már meg! című játékfilmben kapta.
Több népszerű tévésorozatban is szerepelt, mint a Kisváros vagy a Barátok közt. Szinkronizálni is hívják, a többi közt az ő hangján szólalt meg a kopasz New York-i zsaru, Kojak – állítása szerint kétszáz epizód után ma már egy rendőrezredest is képes lenne helyettesíteni. Gyorsvonat című irodalmi estjében kedvenc íróitól és költőitől válogatott verseit és műveit adja elő.
Egy nyilatkozatában azt mondta, hogy mesterségét játéknak tartja, egyfajta hobbinak tekinti.
Az állatbarát színésznek több szenvedélye is van: a vadászat, a horgászás, a vízisíelés, a lovaglás (hatévesen nagyapja tanította meg lovagolni, és minden filmjét a saját lovain forgatta), valamint az asztalitenisz. Kaszkadőr nélkül című önéletrajzi kötete 2007-ben jelent meg. A saját tervezésű házban, Gödön élő színművész az utóbbi években több gerincműtéten is átesett.
Művészi munkája elismeréseként 1968-ban Jászai Mari-díjjal tüntették ki, 1982-ben lett érdemes művész, a Kossuth-díjat 1997-ben vehette át, 2007 óta a Magyar Köztársasági Érdemrend középkeresztjének tulajdonosa. 2009-ben lett a Halhatatlanok Társulatának örökös tagja, 2011-ben Pécsi Sándor-díjat, 2014-ben Bilincs-díjat kapott, 2019-ben neki ítélték a Magyar Filmakadémia életműdíját. Kéznyoma 2021-ben került fel Zamárdiban a kertmozi oldalán található filmesek falára, ugyancsak 2021-ben Mohorán, a Tolnay Klári-emlékházban nyílt életművét bemutató kiállítás.
Koncz Gábor a Hogy volt?! című tv-műsor felvételén, az MTVA Kunigunda utcai gyártóbázisának stúdiójában. Fotó: Zih Zsolt / MTVA
