Szabó Gyula 1930. július 15-én született Kunszentmártonban, mélyen vallásos, katolikus parasztcsalád kilencedik gyermekeként. Tervei között nem szerepelt a színi pálya, papnak készült. A második világháború után a budapesti Csonka János Gépgyárban géplakatosnak tanult. Közben felvették a Zeneakadémiára, ahonnan azonban kimaradt, mert a gyárban három műszakban kellett dolgoznia. Fiatal munkásként nagy lelkesedéssel vett részt az üzemi színjátszó csoport munkájában, innen jelentkezett 1950-ben néhány társával együtt a Színművészeti Főiskolára. Voltaképpen nem is gondolta egészen komolyan, mégis első nekifutásra felvették, pedig abban az évben a tizenkétezer jelentkezőből csupán negyvennyolcan nyertek felvételt. Mégis pap lett hát, Thália papja. Első szerepe Boka figurája volt A Pál utcai fiúkban Apáthi Imre rendezésében.
1954-ben friss diplomával a kezében a Petőfi Színházhoz szerződött, majd a Jókai Színház tagja lett. Évtizedekig vezető színésze volt a Thália Színháznak, ahol emlékezetes, óriási sikerű produkciók részese volt. A Thália megszűnése után tagja lett a rövid életű Arizona Színháznak, majd az ugyancsak pár évig működő Művész Színháznak is. 1996-tól 2006-os visszavonulásáig a székesfehérvári Vörösmarty Színházhoz kötötte szerződés. 1979-től a Színház- és Filmművészeti Főiskola tanára, docense volt, egy évtizeden át oktatott színpadi beszédet.
Alkata, jellegzetes orgánuma népi hősök megformálására tette leginkább alkalmassá, de más szerepkörökben is kiváló alakítást nyújtott. Pályája során játszott többek közt Molnár Ferenc, Shakespeare, Bulgakov, Stendhal, Katona József színműveiben. Emlékezetes alakítást nyújtott Hábetler János szerepében Fejes Endre Rozsdatemető című regényének drámaváltozatában és Tiborcként Katona Bánk bánjában. Sikere volt az Állítsátok meg Arturo Uit! és a Karagöz címszerepében is. Az általa megformált alakok mindig szerethetőek voltak, gonosz, intrikus szerepet szinte soha nem kapott.
1953-ban kezdett el filmezni, A harag napja című filmben debütált, utolsó filmszerepét 2002-ben alakította A Hídemberben. Játszott az Egy pikoló világos, a Vasvirág, a Kölyök, a Pár lépés a határ, A tizedes meg a többiek, a Kinek a törvénye? című filmekben. Számos sikeres tévéjátékban szerepelt: ő volt a Princ, a katona Csontos őrnagya, a Robog az úthenger Józsija és a Rózsa Sándor című filmsorozat Bán Andrása. Legemlékezetesebb alakítása az ártatlanokat megvédő Buga Jakab szerepe volt A Tenkes kapitányában, amelyet a tizenhárom részes tévésorozatban és az 1965-ös moziváltozatban is ő játszott.
Több mint ötven hangjáték és még annál is több szinkronszerep fűződik a nevéhez. Kezdettől fogva ő volt a magyar hangja Peter Falknak a Columbo című amerikai sorozatban. Ő kölcsönözte hangját dr. Bubónak a népszerű Kérem a következőt! című rajzfilmsorozatban, a Pumukli kalandjai című mesében Éder mesternek és Kagnak a Vukban. Frakk, a macskák réme kedvéért megtanult ugatva beszélni és énekelni. Mesemondása legendás volt, ahogy Jankovics Marcell fogalmazott méltatásában: „Páratlan tehetsége volt ahhoz, hogy úgy mondjon mesét, hogy a gyerekekben beinduljon a történet, hogy bevonja hallgatóját.” 1977-től a Magyar népmesék sorozatban ízesen, telve szeretettel és humorral mesélt, összesen nyolcvanegy mesét mondott fel. 2005-ben megjelent első szólólemeze A nagy mesemondó címmel, amely 2006-ban az év hazai gyermekalbuma lett és Fonogram-díjjal tüntették ki.
Szinte minden művészeti elismerést megkapott. Kétszer – 1959-ben és 1962-ben – tüntették ki Jászai Mari-díjjal, emellett 1971-ben Érdemes, 1981-ben Kiváló Művész címet kapott. 1975-ben elnyerte a filmkritikusok díját, 1996-ban a Budapestért Díjat adományozták neki. 2000-ben Kossuth-díjjal tüntették ki sokoldalú művészi pályája elismeréseként, emlékezetes színházi és filmszerep-formálásaiért. 2006-ban a nemzet színészévé választották. Az Aphelandra Alapítvány díjával 2003-ban tüntették ki, amelyet kimagasló alakításai mellett humánumával érdemelt ki. A Kecskeméti Animációs Filmfesztiválon 2005-ben életműdíjat kapott a Magyar népmesék rajzfilmsorozatban végzett munkájáért. 2007-ben megkapta a Magyar Köztársasági Érdemrend középkeresztjét, és abban az évben ő is elhelyezte kéznyomát a Magyar Csillagok Falán az Uránia Filmszínházban. 1998-ban szülővárosa, 2014-ben Székesfehérvár (posztumusz) díszpolgára lett.
Életének 84. évében hosszan tartó betegség után 2014. április 4-én hunyt el budapesti otthonában, a Farkasréti temető művészparcellájában helyezték örök nyugalomra. Egykori budai lakóházánál emléktábláját 2019-ben avatták fel, a budafoki Klauzál Házban portrészobrát 2020-ban adták át, szülővárosában kulturális intézmény és kiállítóterem viseli nevét.
