James Harrell McGriff 1936. április 3-án született Philadelphiában. Zongorista szülők gyermekeként ötéves korában kezdett a fekete-fehér billentyűkön játszani. Miközben szülővárosában rendőrként dolgozott, esténként a nagybőgőt pengette. Szaxofonon és vibrafonon is játszott, de ha leültették a dobok elé, akkor sem vallott szégyent. McGriff gyermekkori barátja, a hammondos Jimmy Smith hatására váltott nagybőgőről orgonára az ötvenes évek közepén, de nagy szerepet játszott ebben a lépésben Richard "Groove" Holmes is, akit élete végéig mentorának tartott.
A híres Juilliard School of Music padját is koptató McGriff profi pályafutása a hatvanas évek elején kezdődött, első saját bandáját is ekkor trombitálta össze. Olyan zenészekkel állt színpadra, mint Don Gardner, Arthur Prysock, Candido Camero vagy Carmen McRae.
A hatvanas években Organ and Bluesband néven készített felvételeket, de közreműködött Junior Parker és Buddy Rich lemezein is. Az igazi áttörést egy Ray Charles-sláger, az I've Got a Woman instrumentális feldolgozása jelentette 1962-ben, ettől fogva évente albumai és dalai rendre ott szerepeltek a slágerlisták élmezőnyében.
1972-ben bejelentette visszavonulását, mondván, hogy lovakat akar tenyészteni, de nem bírta sokáig a színpad nélkül. Már egy év múlva a stúdióban találjuk, ahonnan olyan remekek kerültek ki, mint a Stump Juice, a Red Beans vagy az Outside Looking In. Munkáinak hangzása megváltozott, a funk-jazz mellett a születő diszkó eredményeit is becsempészte a korongokra. A nyolcvanas évek közepén szakított Sonny Lester producerrel és a funk atyaúristenéhez, Bob Porterhez és a legendás hangmérnökhöz, Rudy Van Gelderhez csatlakozva, új vért pumpált karrierjébe. A Fantasy's Milestone kiadónak köszönhetően együtt zenélhetett többek között Rusty Bryanttal, Al Grey-jel, Red Holloway-jel, David "Fathead" Newmannel, Frank Wessszel, valamit Eric Alexanderrel.
A kilencvenes években visszatért a gyökerekhez, táncparkett-orientált soul zenéjéből erőteljesebben kihallatszottak a bues és a gospel ízei. '96-ban The Dream Team néven új együttest gründolt, a McGriff, Newman, Bernard Purdie alkotta triónak négy lemeze jött ki: Straight Up, a McGriff's House Party, Feelin' It és McGriff Avenue.
