Az Arkansas állambeli Jonesboróban született, apja építőmunkás volt. Könyvelést tanult a Mississippi Egyetemen, ezután 1981-ben jogi diplomát szerzett, és egy évtizeden át büntetőjogi és polgári perekben dolgozott ügyvédként. A politikába is belekóstolt, 1983 és 1990 között a Demokrata Párt színeiben Mississippi állam törvényhozásának képviselője volt.
1984-ben a De Soto megyei bíróságon tanúja volt egy 12 éves kislány megrázó vallomásának, aki nemi erőszak áldozata lett. Ennek hatására kezdte el írni szabadidejében – jobbára reggelente, munkába indulás előtt – első regényét, amely részben ezen az ügyön alapult, azzal a különbséggel, hogy a képzeletbeli történetben az áldozat apja maga vesz elégtételt az erőszaktevőkön: lelövi őket. A regényt, amely a Ha ölni kell címet kapta, 1987-ben fejezte be, először több kiadó is visszautasította, végül a Vinewood Press ötezer példányban adta ki 1988 júniusában. Grisham későbbi műveinek sikere után az érdeklődés első könyve iránt is megnőtt, 1996-ban Matthew McConaughey, Samuel L. Jackson, Sandra Bullock főszereplésével emlékezetes film készült belőle.
A filmjogokat a Paramount stúdió 600 ezer dollárért vette meg, a Tom Cruise, Jeanne Tripplehorn és Gene Hackman főszereplésével, Sydney Pollack rendezésében készült filmváltozat 1993-ban került a mozikba. Grisham egy csapásra keresett íróvá vált, feladta ügyvédi praxisát, a tárgyalóterembe azóta csak egyszer, 1996-ban tért vissza. Írói karrierje kezdetén ugyanis ígéretet tett egy vonatbalesetben meghalt férfi családjának, hogy képviselni fogja ügyüket. A pert megnyerte, a bíróság több mint félmillió dollár kártérítést ítélt meg az elhunyt családjának.
Grisham minden évben újabb könyvvel állt elő, s ezek rendre előkelő helyen szerepeltek az eladási toplistákon. A Publishers Weekly című kiadói szaklap szerint ő volt a kilencvenes évek legsikeresebb írója. Az 1992-es A Pelikán ügyirat csak az Egyesült Államokban tizenegy millió példányban kelt el, ezzel az évtized legkeresettebb könyvének bizonyult. A rajongók világszerte eddig 300 millió könyvét vásárolták meg, műveit 40 nyelvre fordították le. Regényéből számos sorozatot és mozifilmet forgattak: Az ügyfél Joel Schumacher, Az esőcsináló Francis Ford Coppola, a Démoni csapda Robert Altman rendezésében került a filmvászonra.
2001-től, A festett ház című regénytől kezdve nemcsak jogi témákról ír, hanem általánosságban a vidéki életről az amerikai Délen.
Számos elismerésben részesült, utoljára az év legjobb jogi krimijéért járó Harper Lee-díjat (Harper Lee Prize for Legal Fiction) nyerte el 2014-ben a Platánsor című munkájáért.
Életében fontos szerepet kap a karitatív tevékenység. Részt vett a New Orleansban súlyos károkat okozó, 2005-ös Katrina hurrikán áldozatainak megsegítésére létrehozott alapítvány megszervezésében, amely közel kilencmillió dollárt gyűjtött az áldozatok és családjaik megsegítésére. Az író családjával a Mississippi állambeli Oxford közelében fekvő farmján és a virginiai Charlottesville-ben lévő birtokán megosztva tölti idejét. Renee nevű feleségével két lánygyermekük van. A baptista egyház képviselőjeként missziós tevékenységet is végzett, főleg Brazíliában. Kedvenc hobbija a baseball, birtokán hat pályát építtetett, amelyen huszonhat junior csapatnak, összesen 350 gyereknek biztosít játéklehetőséget.
2010-ben új műfajjal mutatkozott be: ifjúsági regénysorozatot indított, egy kölyökügyvéd főszereplésével. A Theodore Boone-történetek ötödik része 2024-ben jelent meg magyarul A szökevény címmel.
