John Robert Cocker Sheffieldben született. A zenét mindig szerette, legnagyobb kedvence már egészen fiatalon Ray Charles volt – nemcsak hallgatta dalait, de meg is próbált közülük néhányat elénekelni. Nagy hatást gyakoroltak rá a blues nagyságai, mint John Lee Hooker, Muddy Waters vagy Howlin’ Wolf. Első nyilvános fellépése tizenkét éves korában volt bátyja zenekarával, majd a Cavaliers nevű együttesben dobolt – „sikerükre” jellemző, hogy első fellépésük helyszínére meg kellett vásárolniuk a belépőjegyet. 1961-ben felvette a Vance Arnold művésznevet, együttesével a helyi klubokban játszott.
Pályafutása során számos Beatles-dalt dolgozott fel, az első az I’ll Cry Instead volt 1964-es debütáló kislemezén. A banda nem keltett nagy feltűnést annak ellenére sem, hogy gitáron Jimmy Page, a Led Zeppelin későbbi tagja játszott. 1966-ban megalakította a Grease Bandet, ennek tagja volt, amikor 1968-ban a Marjorine című dal előadása után felfigyeltek rá. Még abban az évben jelent meg a Beatles With a Little Help From My Friends című dalának világsikert aratott, soulzene inspirálta feldolgozása – a gitárt ezen is Page pengette. Cocker emlékezetes előadásával Woodstock egyik hőse lett: egyedülálló, rekedtes-reszelős hangja mellett utánozhatatlan léggitározással hívta fel magára a figyelmet, jellegzetes karmozdulatai pedig védjegyévé váltak. (Emiatt sokan bolondnak hitték, vagy azt gondolták, tudatmódosító szereket fogyaszt, de ő azt mondta: mivel hangszeren nem játszott, érzelmeit csak így tudta kifejezni.) Bemutatkozó nagylemeze, amelyre olyan Bob Dylan-szerzemények is felkerültek, mint a Just Like A Woman és az I Shall Be Released, az első helyig jutott a brit listán.
Woodstock után nem sokkal jelent meg második albuma, a Joe Cocker!, rajta a Delta Lady, a Something és a She Came Through The Bathroom Window a Beatlestől, valamint a Dear Landlord Bob Dylantől. Cocker 1969-ben már nem akart a Grease Banddel turnézni és feloszlatta azt, de egy amerikai szerződés alól nem tudott kibújni, ezért egy kiváló zenészekből sebtében összeverbuvált, harminctagú együttessel 1970 tavaszán mégis útra kelt. Hét hét alatt 48 városban 52 koncertet adtak, így született meg a Mad Dogs And Englishmen című dupla élő album és koncertfilm. A megerőltető turné végére Cocker mentális és fizikai állapota leromlott, az ital rabja lett, depresszióját később heroinnal próbálta „kezelni”. 1972-ben Ausztráliából ki is utasították, mert marihuánát találtak nála, és verekedésbe keveredett.
Évekbe telt, amíg megszabadult alkohol- és drogfüggőségétől, ebben második felesége segítette. A visszatérést az 1974-es You Are So Beautiful jelentette, amely egész pályafutásának egyik legnagyobb sikere lett, és az 1980-as években ismét a csúcsra jutott. Ekkor születtek a When The Night Comes, a N’oubliez jamais, valamint az Unchain My Heart című slágerei. A Jennifer Warnes társaságában előadott, a Tiszt és Úriember című filmben felcsendült Up Where We Belong című duettért Grammy-díjat kapott.
A világ körüli turnék mellett rendszeres vendége volt többek közt a Károly brit trónörökös által szervezett The Prince’s Trust jótékonysági koncerteknek, részt vett a Nelson Mandela hetvenedik születésnapján rendezett 1988-as gálán. Fellépett George Bush amerikai elnök 1989-es beiktatásán is – mint később elmondta, Bush politikai nézeteit nem ismerte, de abban bízott, az amerikai hatóságok így elnézőbbek lesznek vele szemben. Szerepelt a Montreux-i Jazzfesztiválon, 1994-ben a Woodstock II. fesztiválon, 2002-ben Phil Collins és a Queen-gitáros Brian May társaságában adta elő a With a Little Help from My Friendset a II. Erzsébet királynő aranyjubileumának alkalmából rendezett ünnepségen. A zene szolgálatában kifejtett munkásságáért 2007-ben a Brit Birodalom Rendjének tisztjévé (OBE) avatták. Noha a nyolcvanas évektől egy coloradói farmon élt, büszke volt angolságára, az amerikai állampolgárságot nem vette fel, és élete végéig Angliából hozatta a teát.
Utolsó két albuma, a Hard Knocks (2010) és Fire It Up (2012) is sikeres lett, de az évtizedek óta folyamatosan turnézó énekes elismerte, hogy egyre nehezebben bírja a munkát. Magyarországon hatszor lépett fel, először 1992-ben a Budapest Sportcsarnokban, tíz évvel később a Kapcsolat koncerten a Felvonulási téren háromszázezer néző előtt énekelt, utoljára pedig 2011-ben koncertezett a magyar fővárosban.
Joe Cocker hetvenéves korában, 2014. december 22-én halt meg a coloradói Crawfordban tüdőrák következtében. Életéről 2017-ben mutattak be dokumentumfilmet Mad Dog with Soul címmel.
