Szegény családból származott, édesapja kőműves volt. Fiatalon katonának állt, 1949-51-ben elvégezte a Magyar Dolgozók Pártja Pártfőiskolájának történelem szakosítóját. 1951-55-ben századosként a budapesti Sztálin (utóbb Petőfi) Katonai-Politikai Akadémia tanára, 1953-55-ben levelező aspiráns. 1956-ban kilépett a hadseregből. 1957-ben a budapesti egyetem levelező tagozatán történelem szakos tanári oklevelet szerzett. 1958-tól a MTA Történettudományi Intézet tudományos segédmunkatársa, 1960-tól munkatársa, 1970- tői főmunkatársa, majd tanácsadója. Egyidejűleg 1963-tól a budapesti közgazdasági egyetemen a diplomáciatörténet előadója. 1977-ben egyetemi tanárrá nevezték ki. 1985-1986-ban a Magyarságkutató Intézet igazgatója, 1986-tól az Országos Széchényi Könyvtár igazgatója volt. Kandidátusi értekezését 1963-ban, akadémiai doktori értekezését 1978-ban védte meg.
Fő kutatási területeit a két világháború közötti Magyarország külpolitikájának és eszmeáramlatainak története jelentették. Kutatásaival jelentős mértékben járult hozzá Magyarország II. világháború alatti külpolitikai lehetőségeinek reális megítéléséhez. Amikor a Történettudományi Intézetbe került, abban az időben nyíltak meg a kutatás számára a II. világháborúval kapcsolatos levéltári állagok, s az Intézet vezetősége, több más fiatal munkatárssal együtt őt is ennek az anyagnak a feldolgozására állította rá. A korszakon belül figyelme kezdettől fogva a diplomáciatörténetre irányult. Az érdekelte, hogy Magyarország politikai mozgási lehetősége mennyire volt szabad, illetve mennyire szabta meg a nagyhatalmak magatartása kényszerpályáját. Első jelentősebb, 1964-ben megjelent munkájában Magyarország hadba lépésének diplomáciai előzményeit vizsgálta, s a Teleki kormány külpolitikai próbálkozásait ismertette. A továbbiakban érdeklődésének időhatárai egyre tágultak, s elemzéseit a Horthy-korszak egészére kiterjesztette. Éveken át végzett hazai és külföldi levéltári kutatómunka eredményeként jelent meg 1969-ben Magyarország 1919-1945 közötti külpolitikájáról írt összefoglaló műve, mely - bővített és pontosított alakban - három kiadást ért meg, s idegen nyelvre is lefordították.
A nagy összefoglalás mellett születtek jelentős forráskiadványai ugyanebből a korszakból. Közöttük egyik legfontosabb a magyar-német diplomáciai viszonyt dokumentáló hatalmas kötet: A Wilhelmstrasse és Magyarország, 1933-1944. A magyar külpolitikáról kialakított hivatalos, egyoldalúan negatív ítéletet már ez a kiadvány is erősen megkérdőjelezte, de még inkább a másik, amely az 1943. évi magyar-brit titkos béketárgyalások iratait adta közre. Ezekből a kiadványokból világossá lett, hogy az akkori magyar kormány megpróbálta, ami számára lehetséges volt, hogy a német nyomást kivédje, s hogy ez nem sikerült, nem a szándékon múlott. A háborús diplomácia tényszerű adatainak feltárása után Juhász Gyula az események hazai szellemi hátterét, a végső okokat, az 1930-1940-es évek magyar politikai gondolkozását vette vizsgálat alá. 1983-ban kötetben foglalta össze vizsgálódásai eredményeit az 1939-1944 közötti magyar politikai közgondolkozásról, nem hallgatva el munkájában, ami negatív volt, de rámutatva a pozitív értékekre is.
Egyre terebélyesedő történeti munkásságát megfelelő módon méltányolták a tudományos fórumok. A Magyar Tudományos Akadémia 1985. május 9-én levelező, 1990. május 21-én rendes tagjává választotta. Magyarország nemzetközi helyzete és a magyar szellemi élet 1938-1945. című székfoglaló előadása 1985. november 29-én, A magyar társadalom a II. világháborúban című 1991. október 31-én hangzott el. 1990-től a II. Osztály elnökhelyettese, 1967-től a Második Világháború Története Nemzetközi Bizottság Magyar Nemzeti Bizottságának titkára, majd elnöke, a Nemzetközi Dokumentációs Szövetség magyar nemzeti bizottság elnöke volt. 1989- tő a Magyarok Világszövetségének társelnöki tisztségét töltötte be. 1977-ben Akadémiai Díjat kapott, 1972 és 1985 között a Történelmi Szemle főszerkesztő-helyetteseként tevékenykedett. Megkapta a Magyar Köztársaság Aranykoszorúval díszített csillagrendjét.
Fő művei: Adatok Magyarország külpolitikájához a második világháború kirobbanása napjaiban. 1939 augusztus?szeptember. Századok, 1962.; A Teleki-kormány külpolitikája 1939-1941. Bp., 1964.; Magyarország külpolitikája 1919-1945. Bp., 1969., 3. átd. kiad. 1988., angolul: 1979.; Magyar-brit titkos tárgyalások 1943-ban. Összeáll., bev., kiad. Bp., 1978.; Uralkodó eszmék Magyarországon 1939-1944. Bp., 1983.; Magyarország nemzetközi helyzete és a magyar szellemi élet 1938-1944. Bp., 1987.; A háború és Magyarország 1938-1945. Bp., 1988.; A történész józansága. Tanulmányok, cikkek, interjúk. Szerk., bev. Juhász Ferenc. Bp., 1994.
Róla szóló irodalom: Varietas historiae. Tanulmányok Juhász Gyula 60. születésnapjára. (Tudományos munkásságának bibliográfiájával.) Bp., 1990.; Ormos Mária: Juhász Gyula. Magyar Tudomány, 1993.; Benda Kálmán: Juhász Gyula. Századok, 1993.; Molnár Imre: Juhász Gyula. Regio, 1993.; Poprády Géza: Juhász Gyula. Könyv, Könyvtár, Könyvtáros, 1993.; Paul Gradvohl: Gyula Juhász. Cahiers d'études hongroises, 1993.
