Budapesten jött a világra, szüleit a vészkorszakban vesztette el: anyját deportálták, apja az ukrajnai munkaszolgálatból betegen tért haza, és hamarosan meghalt; ő maga egy csillagos házban élte túl a holokausztot. A vadóc, vörös hajú és szeplős fiú bátyja révén került közel a mozi világához, miután jelentkezett egy hirdetésre. 13 évesen szinte önmagát játszotta Radványi Géza 1947-ben készült, klasszikussá vált Valahol Európában című, háborús árvákról szóló filmjében. Színészi gyakorlatot Lakner Bácsi Gyermekszínházában szerzett. Rokonai nyomására esztergályosnak kellett tanulnia, ez ellen lázadva jelentkezett a Színház- és Filmművészeti Főiskolára. Miután felvették, egy év alatt letette az érettségit is, diplomáját 1957-ben szerezte meg. Először Debrecenbe került, majd Szinetár Miklós hívására 1960-ban a fővárosban akkor induló Petőfi Színház társulatához csatlakozott. 1963-tól a Vígszínházban, ezután az újonnan induló Mikroszkóp Színpadon játszott; később a József Attila Színház, 1984-ben ismét a Vígszínház társulatának tagja volt. Kis megszakítással, 1993–94-ben a rövid életű Művész Színházban lépett fel. 2015-ben vonult vissza a színháztól, 2021-ben pedig végleg elköszönt színésztársaitól.
Pályafutása alatt többnyire kisembereket, komikus figurákat alakított, volt Puck (Shakespeare: Szentivánéji álom), Lord Stanley (Shakespeare: III. Richárd), Liputyin (Dosztojevszkij: Ördögök) és Morris Bober (Malamud: A segéd). A Vígszínházban és a Pesti Színházban a közönség a Száz év magány, az Össztánc, a Sok hűhó semmiért és a Képzelt beteg című darabokban láthatta, a Vígben egyik utolsó szerepe Hanoch Levin Átutazók című komédiájában Savtaj suszter volt.
A filmvásznon emlékezetes alakítást nyújtott Tersánszky-regények adaptációiban (Kakuk Marci, Legenda a nyúlpaprikásról), majd 2006-ban a De kik azok a Lumnitzer nővérek? című Bacsó Péter-alkotásban. Jellegzetes szinkronhangja több nemzedék számára feledhetetlen élményt nyújtott, többször kölcsönözte hangját Louis de Funès-nek és Danny de Vitónak. Részt vett a Bálint Ágnes által írt Futrinka utca című bábsorozat készítésében, amelyen nemzedékek sora nőtt fel, a Vízipók-csodapókban ő szólaltatta meg a Keresztespókot. A Mézga családban az apának, Mézga Gézának kölcsönözte a hangját – a mai napig népszerű, külföldön is sikert aratott sorozat érdekessége, hogy előbb vették fel a hangot, és csak utána, a színészekhez szabva rajzolták meg a figurát. Harkányi korelnöke volt a Kossuth Rádió mesehangjáték-sorozatának, a Vacka Rádiónak, Csiga Nyikoláj szólalt meg az ő jellegzetes hangján.
Színházi bemutatóinak száma az Országos Színháztörténeti Múzeum és Intézet adatai szerint eléri a százötvenet, amellett mintegy hetven játék- és tévéfilmben szerepelt.
Művészi munkásságát 1962-ben Jászai Mari-díjjal, 1982-ben Érdemes Művész címmel, 2004-ben az Ajtay Andor-emlékdíjjal és a Magyar Köztársasági Érdemrend lovagkeresztjével ismerték el. 2005-ben neki ítélték a Ruttkai Éva-emlékgyűrűt, és még abban az évben kiváló művész, 2008-ban a Halhatatlanok Társulatának tagja lett. 2010-ben a nyíregyházi Vidor Fesztiválon életműdíjjal jutalmazták, és abban az évben művészi életútja elismeréseként átvehette a legrangosabb állami művészeti kitüntetést, a Kossuth-díjat. 2015-ben Harsányi Zsolt-emlékdíjjal tüntették ki, két év múlva a Színház- és Filmművészeti Főiskola gyémántdiplomáját kapta meg. 2017-ben a miskolci Jameson CineFest Nemzetközi Filmfesztiválon mutatták be első filmje, az éppen hetven éve készült Valahol Európában felújított változatát.
2023 őszén súlyos műtéten esett át, de március elején azt nyilatkozta, már visszatért az életkedve, és sokat olvas, zenét hallgat, régi szerepeit nézi újra. Felesége és fia már meghalt, unokája az egyedüli közeli rokona.
