Harangozó Gyula 1908. április 19-én született Budapesten, édesapja az Operaházban dolgozott öltöztető-szabóként. Noha gyerekként nem részesült rendszeres táncképzésben, tehetsége már korán megmutatkozott. Diákként statiszta volt az Operaházban, 1926-ban a dalszínházi társulat tagja lett. Rendkívüli mozgékonyságára, jó karikírozó képességére Albert Gaubier betanító balettmester figyelt fel, aki 1928-ban rábízta a kormányzó szerepét Manuel de Falla A háromszögletű kalap című balettjében. Ebben olyan sikert aratott, hogy alig húszévesen az Operaház magántáncosának szerződtették, s több évtizeden keresztül az intézmény balettegyüttesének meghatározó személyisége maradt. Az 1930-as évektől számos külföldi operaházban vendégszerepelt mint karaktertáncos.
Nagyszerű színészi adottságainak, zseniális előadóművészi vénájának köszönhetően a legkülönfélébb karaktereket formálta meg. Kiváló alakítást nyújtott egyebek között A csodálatos mandarin Öreg gavallérjaként, a Coppéliában Coppéliusként, A fából faragott királyfi címszereplőjeként és Mecénásként a Térzenében.
Már 1935-ben ő koreografálta Az ember tragédiája táncbetéteit a Szegedi Szabadtéri Játékokon. Az Operaházban 1936-ban mutatták be első önálló koreográfiáját, a Hubay Jenő zenéjére készült Csárdajelenet című egyfelvonásost, amellyel sikeres kísérletet tett a nemzeti balett kialakítására. A hatalmas sikert arató előadásnak köszönhetően 1937-ben balettmesterré nevezték ki. Ezt követően számos egyfelvonásos művet és operabetétet koreografált, amelyekben sikeresen ötvözte a magyar néptánc és a klasszikus balett elemeit, s bebizonyította, hogy a tánc eszközeivel is kitűnően megformálhatóak az egyes figurák, a különböző karakterek. Több művét átvette a Szegedi, majd a Pécsi Balett és Kelet-Európa több balettegyüttese. Harmincnál is több koreográfiát alkotott.
Fontosabb koreográfiái a Poloveci táncok, a Francia saláta, a Rómeó és Júlia, a Csongor és Tünde, a Térzene, a Seherezádé, a Furfangos diákok, a Ludas Matyi, valamint a Csárdajelenet kibővítésével megalkotott A keszkenő és A háromszögletű kalap átdolgozása. Bartók Bélával kialakított személyes kapcsolatának eredménye a legjelentősebb alkotásai közé tartozó két Bartók-balett: A fából faragott királyfi és A csodálatos mandarin, amely bejárta a világot. Egész estét betöltő darabja a minden Harangozó Gyula-i jellegzetességet őrző Coppélia. Három opera – a Háry János (Kodály Zoltán), a Huszti kaland (Kadosa Pál) és a Bánk bán (Erkel Ferenc) – balettbetétjei is az ő nevéhez fűződnek. Banovich Tamás Az életbe táncoltatott lány című táncfilmjének egyik koreográfusa volt. A Magyar Televízió több egyfelvonásosát is megörökítette, és 1965-ben portréfilmet is készített róla. A Pécsi Balett 1970-ben a Csárdajelenetet és a Poloveci táncokat az ő közreműködésével újította fel. 1950–1960 között az Operaház balettegyüttesének igazgatója, az ötvenes években a Magyar Táncművészek Szövetségének elnöke volt. Munkássága elismeréséül 1956-ban Kossuth-díjat kapott, 1951-ben kiváló művész, 1991-ben az Operaház posztumusz örökös tagja lett.
Utoljára 1970-ben, Bolognában lépett színpadra mint A csodálatos mandarin Öreg gavallérja. 1974. október 30-án, 66 évesen Budapesten hunyt el, tehetségét fia, ifj. Harangozó Gyula örökölte. Felesége, Hamala Irén balettművész és koreográfus, állandó asszisztense volt. Emlékére hozták létre a Harangozó Gyula-díjat, a rangos állami kitüntetést évente, március 15-én adják át.
Harangozó Gyula halálának 50. évfordulója alkalmából a Magyar Nemzeti Balett újra műsorra tűzte a Coppéliát, október 31-én pedig a Pesti Vigadóban rendezik meg a Harangozó 50 emlékkonferenciát.
