Gregor József Rákosligeten látta meg a napvilágot. Kisdiákként a természettudomány, különösen a fizika és a kémia érdekelte, rádiót épített, mikroszkóppal vizsgálódott, vegyésznek készült.
Gyermekkorában hegedülni tanult és tagja volt a helybéli katolikus templom kórusának, majd tizenhat évesen ő helyettesítette az 1956-os forradalom után disszidált kántort. Zengő hangjára felfigyelt egy zenetanár, aki rávette: jelentkezzen a konzervatóriumba, és 1957-től már az intézmény hallgatója volt. Ebben az évben látta Székely Mihályt Verdi Don Carlosának Fülöp királyaként, ettől kezdve a legendás basszus lett a példaképe. A konzervatóriumot három év után otthagyta, sikeresen felvételizett a Liszt Ferenc Zeneművészeti Főiskola ének tanszakára. Rösler Endre lett a mestere, de tanulmányait a Zeneakadémián sem fejezte be.
1958-tól volt a Magyar Néphadsereg Művészegyüttese férfikórusának tagja. 1964-től – egy sikeres próbaéneklés után – tizennégy évig Szegeden dolgozott a legendás karmester, Vaszy Viktor irányítása alatt. Élete végéig Vaszyt tartotta első mesterének, aki atyai jó barátja is lett, szavai szerint senkitől sem tanult többet. 1976-tól a budapesti Operaház állandó vendégművésze, 1987-ig a Szegedi Nemzeti Színház magánénekese, 1987-1989 között a győri Kisfaludy Színház tagja, ezután a szegedi operatársulat igazgatója volt. 1991-ben a Szegedi Nemzeti Színház örökös tagja lett.
Minden fellépését csodálatosan kiegyenlített hang, mély átélés és nagyszerű karakterformálás jellemezte. Az operarepertoár minden nagy basszus szerepét elénekelte. Pályafutása első felében külföldön nem is vendégszerepelt, mert elmondása szerint már Hegyeshalomnál honvágya volt. A nyolcvanas évek végétől azonban a világ legnagyobb operaházaiban, a milánói Scalában, a Houstoni Nagy Operában és a New York-i Metropolitanben is színpadra lépett, ahol 1994-1995-ben a többi közt Mozart Figaro házasságában, Sosztakovics Kisvárosi Lady Macbethjében és Donizetti Szerelmi bájitalában aratott sikert. Az oregoni Portland Operában 2002-ig rendszeresen vendégszerepelt.
Pályája elején két vágya volt: elénekelni Mozart A varázsfuvolájának Sarastróját és Bach János passiójának Jézusát (gyermekként a templomi kórusban ez volt az első oratórium, amelyet énekelt). Mindkét szerepálma teljesült. Az operákat eredeti nyelven, olaszul, németül, oroszul, csehül, az oratóriumokat latinul énekelte. Talán legnagyobb hazai sikerét Verdi Falstaffjában aratta, mert ez a szerep állt legközelebb egyéniségéhez, pedig a lovag bariton hangra íródott. Egyik legkedvesebb szerepe Donizetti Don Pasqualéja volt, emlékezetes alakítást nyújtott Don Basilióként (Rossini: A Sevillai borbély), Mefisztóként (Gounod: Faust), Ozminként (Mozart: Szöktetés a szerájból) és Borisz Godunovként Muszorgszkij operájában.
Száznál több lemezt készített, több ezer operaelőadásban és hangversenyen működött közre, számos rádió- és tévéfelvétele készült. 2003-ban jelképes, 1 forintos gázsiért állította színpadra Verdi Don Carlos című operáját a Szegedi Nemzeti Színházban. A Szegedi Szabadtéri Játékokon Madách Imre Az ember tragédiája című művének előadásában az Úr hangja volt. Utolsó szerepeként a Dóm téren Kálmán Imre Csárdáskirálynőjében Leopold Mária herceget játszotta 2005-ben.
A több műfajban is otthonosan mozgó énekes Az én utam magyar címmel elénekelte Frank Sinatra My way című világhírű dalát, és több musicalben is színpadra lépett. Volt Tevje a Hegedűs a háztetőn című musicalben (ebben színésznő lányával, Gregor Bernadett-tel játszott együtt), szerepelt Móricz Zsigmond Légy jó mindhalálig című regényének musicalváltozatában, Andrew Lloyd Webber és Tim Rice Jézus Krisztus szupersztár című rockoperájában Kajafás főpap volt.
A budapesti Broadwayn, a Nagymező utca aszfaltján a magyar halhatatlanok örökös társulatának tagjaként ő is elhelyezte lábnyomát. Mindeközben tősgyökeres szegedi maradt, a Tisza-parti városban 2001-ben Pro Urbe díjat, 2003-ban díszpolgári címet kapott. Díszpolgára volt Fejér megyének és Gárdonynak is, ahol nyaralójukban a pihenés mellett szerepeit is szívesen tanulta. A népszerű, mindig vidám énekes nagy szenvedélye volt a főzés, számos receptjét osztotta meg a közönséggel.
Művészi teljesítménye elismeréseként 1974-ben Liszt Ferenc-díjat kapott, 1979-ben érdemes művész, 1983-ban kiváló művész lett. 1999-ben Kossuth-díjjal tüntették ki az operairodalom basszus szerepeinek kiváló megformálásáért, a hazai zeneirodalom értékeinek nemzetközi képviseletéért. 2002-ben Székely Mihály-emlékplakettet vehetett át, 2006-ban a Magyar Köztársasági Érdemrend középkeresztje a csillaggal (polgári tagozat) kitüntetésben részesült.
Gregor József 2006. október 27-én hunyt el Szegeden. A The New York Times méltatásában azt írta róla: hatalmas ember volt hatalmas hanggal és lenyűgöző színészi képességgel. A világhírű énekes emlékét a Szegedi Nemzeti Színházban tábla őrzi, Rákosligeten és a csongrádi megyeszékhelyen nevét általános iskola viseli. Hetvenedik születésnapján bronz mellszobrot – Bánvölgyi László alkotását – emeltek tiszteletére a szegedi Dóm tér színpadához közeli Nemzeti Pantheonban, nevével énekversenyt és kitüntetést is alapítottak. Születésének nyolcvanadik évfordulóján Szegeden gálakoncertet rendeznek emlékére.
