1943. február 9-én a New Jersey állambeli Newarkban született második generációs olasz bevándorlók családjában, apja autógyári targoncás, anyja részmunkaidős fodrász volt. Joe négyévesen került be egy rádióműsorba, ezután csupán egy év kellett hozzá, hogy a Broadway deszkáin szerepeljen, tízéves korától nélkülözhetetlen volt a Star Time Kids című szórakoztató televíziós gyerekműsorban. Kamaszéveit mégsem a képernyőn, hanem gitárját pengetve töltötte, sőt Joe Ritchie művésznéven rock and roll zenekart alapított, még egy nagylemezt is összehozott. Zenésztársa volt a később gengszterfigurákat kiválóan megformáló Frank Vincent, akivel kabarédarabot állítottak össze, az alig 163 centi magasra nőtt Pesci ekkor jött rá, hogy a humor az igazi erőssége.
1976-ban állt először kamera elé a The Death Collector című bűnügyi filmben, de az alkotást szinte észre sem vette a közönség, ezért szomorú szívvel visszatért New Yorkba, hogy olasz éttermet nyisson. Alakítása egyedül Robert De Niro figyelmét keltette fel, aki addig győzködte a rendező Martin Scorseset, amíg az 1980-ban az ismeretlen fiatalemberre osztotta Dühöngő bika című filmjében a De Niro által alakított bokszoló, Jake LaMotta öccsének szerepét. Pesci második filmjével Oscar-jelölést kapott a legjobb férfi mellékszereplő kategóriában, s vállára vette a hírnév. Szinte megállás nélkül foglalkoztatták, e korszakának utolsó nagy alakítását 1984-ben Sergio Leone Volt egyszer egy Amerika című filmjében nyújtotta. A következő évben elvállalta a Half Nelson című bűnügyi tévésorozat egyik főszerepét, de a hatalmas bukás után csaknem négy évre ismét eltűnt a filmvászonról.
1989-ben Mel Gibson és Denny Glover oldalán tért vissza a Halálos fegyver 2 című akcióvígjátékban. Komikusként mindenkit levett a lábáról, ezért nem volt kérdéses, hogy az 1992-ben készült harmadik és 1998-as negyedik részhez is visszahívják. Élete legsikeresebb éve 1990 volt, amikor egyszerre két kasszasikerben is szerepelt. A Reszkessetek, betörők! című, karácsonyi örökzölddé vált családi vígjátékban megint bűnöző, de ezúttal egy kétbalkezes betörő volt.
Scorsese Nagymenők című gengsztermozijában egy pszichopata bűnözőt alakított, s elnyerte a legjobb mellékszereplőnek járó Oscar-díjat.
A gálán a díjak történetének második legrövidebb, alig három másodperces, hatszavas köszönőbeszédét mondta el, mert ő maga sem hitte, hogy átveheti az aranyszobrocskát. A háziúr című moziban főszereppel keresték meg a következő évben, de csúfosan megbukott, Oliver Stone JFK című filmjének mellékszerepéért azonban megdicsérték a filmkritikusok, miként a Vinny, az 1ügyű című vígjátékban is.
1995-ben újra együtt forgatott Robert De Niróval a Scorsese által rendezett Casino című drámában, a háromórás, kegyetlen és véres történet pénzről, szenvedélyről, kapzsiságról és hatalomvágyról szól. Ezek után újra főszereppel keresték meg, kétszer is, de szemlátomást nem mozgott otthonosan ezekben a szerepekben.
A Halálos fegyver negyedik része után ismét csaknem egy évtizedre eltűnt, s csak 2006-ban állt ismét a felvevőgép régi barátja, Robert De Niro unszolására Az ügynökség című kémfilmben. Négy év múlva Helen Mirren partnere volt az igaz történet alapján forgatott Az országúti bordély című filmdrámában. 2019-ben mutatták be a Charles Brandt könyve alapján készült Az ír című gengszterfilmet, a Scorsese által rendezett filmeposzban Robert De Niro, Al Pacino, Bobby Cannavale és Harvey Keitel voltak partnerei, érdekesség, hogy az idős szereplőket a korábban játszódó jelenetekben digitálisan fiatalították meg. Pesci alakításáért elnyerte a Londoni Filmkritikusok Köre a legjobb férfi epizódszereplőnek járó trófeáját, és jelölték a legjobb férfi mellékszereplőnek járó Oscar-díjra is.
Nyitókép: Joe Pesci Az ír című filmben. Collection ChristopheL via AFP