A Pest vármegyei Telkiben látta meg a napvilágot kisnemesi-polgári családban. A szülők válása után a gyerekek az erdészként dolgozó apával éltek Pécsváradon, majd Vajszlón. A középiskolát Pécsett és Székesfehérváron végezte, nehezen tanult, Achilles-ín-zsugorodása miatt sokat betegeskedett, de verseket írt, önképzőköri tag volt és a Diák-toll című lap szerkesztője. 1915 és 1921 között három verseskötete is megjelent, ám ezeket később megtagadta. Életének első húsz évéről, a nyomasztó családi környezetről, a gyermeki magányról, szeretetéhségéről az 1940-ben megjelent Süllyedő világ című regényében rajzolt hiteles képet.
1921-ben megnősült, feleségével, Csőszi Matilddal Pestre költözött. Négytagúvá bővülő családjával nagy nyomorban éltek, sokszor csak baráti segítséggel tudták fenntartani magukat. 1922-ben a Nyugat közölte a Móricznak dedikált Sötétség című novelláját, ezzel egy csapásra ismert íróvá és Móricz barátjává vált.
A húszas évek közepén jelentek meg első, a naturalizmus stílusjegyeit magukon viselő regényei (Szép Zsuzska, Börtön, József, az ács), amelyekben az ormánsági élet nyomorúságát, a középosztály pusztulását ábrázolta. 1932-ben részt vett az Írók Gazdasági Egyesületének megszervezésében, később az IGE társelnöke is volt. Ettől az időtől kezdve tagja volt a népi írók mozgalmának, a Válasz és a Magyarország című lap munkatársai közé tartozott.
A harmincas évek közepétől érdeklődése a társadalmi kérdésektől a magyar középkor világa felé fordult, egymás után jelentek meg a tatárjárás korában játszódó, archaikus nyelvi elemekkel átszőtt regényei (A vas fiai, Boldog Margit, Julianus barát). 1936–38-ban több ízben is ellátogatott Finnországba, élményeit A csend országa és a Suomi titka című naplószerű műveiben örökítette meg. 1939-ben két drámáját (Földindulás, Végrendelet) is bemutatta a Belvárosi Színház.
1937-ben régi irodalmi ellenfele, Babits Mihály közreműködésével Baumgarten-díjat kapott. A harmincas évek végére egyre inkább a nacionalista mozgalmakhoz sodródott, cikkeket írt a Turul Bajtársi Szövetség lapjába, amelynek 1939–40 között főszerkesztője is volt. 1941-től a pécsi Janus Pannonius Irodalmi Társaság társelnöke, a Sorsunk munkatársa volt. Emese álma címmel trilógiát tervezett a magyar honfoglalás koráról, amelynek két kötete Pogány tüzek címmel meg is jelent. 1943-ban a szárszói konferencia bevezető előadását ő tartotta, de ekkor már fokozatosan eltávolodott a népi íróktól, a nacionalista mozgalmaktól, érdeklődése az őstörténet, a bibliai történetek, az örök és közös emberi sors felé fordult.
A második világháborút követő kommunista hatalomátvétel után politikai okokból persona non grata lett az irodalmi életben, 1949 és 1955 között írásai nem jelenhettek meg. Ideje jó részét balatonakarattyai házában töltötte, megtanult héberül, eredetiben olvasta a klasszikus zsidó irodalmat. Ekkor született műveiben a mondák, eposzok és a Biblia világát idézte meg, írt regényt Jézus és Júdás életéről (Én vagyok), Mózes alakjáról (Az égő csipkebokor), a vízözönről (Vízöntő, Új ég, új föld). 1955-ben Éltek, ahogy tudtak című novelláskötetével tért vissza az irodalmi életbe, tagja lett az Írószövetségnek is. Az ötvenes évek végétől egészsége egyre jobban megromlott, szívbetegsége mellett cukorbetegsége is súlyosbodott.
Utolsó éveiben önéletrajzi írásait rendezte sajtó alá, 1968-ban megjelent Visszapillantó tükör című művében a Süllyedő világban elkezdett emlékezéseit folytatta. 1967-ben a Finn Köztársaság a Finn Oroszlánrend lovagkeresztjével tüntette ki.
Budapesten hunyt el 1969. augusztus 10-én, temetésén a Farkasréti temetőben Veres Péter búcsúztatta. A Kossuth-díjat posztumusz kapta meg 1990-ben. 1999-ben Magyar Örökség díjas lett, 2019-ben a Magyar Írószövetség posztumusz örökös taggá választotta.
Fia, ifj. Kodolányi János néprajzkutató, muzeológus, a finnugor és uráli népek magyarországi szakértője (1922–2008). Lánya, Kodolányi Júlia Apám című életrajzi könyve 1988-ban jelent meg. A Julianus barát című regényéből 1991-ben Koltay Gábor készített filmet. Emléktáblája látható többek között telki szülőházán, nevét a székesfehérvári központú egyetem viseli.
Halálának 50. évfordulóján, 2019-ben egy megemlékezésen Szentmártoni János, a Magyar Írószövetség akkori elnöke úgy fogalmazott: Kodolányi János műveiben valóságos magyar mitológiát teremt, művészete a magyar próza legnemesebb hagyományaihoz kapcsolódik. Látomásainak és indulatainak kifejezésére archaizáló elemekkel színezett, költői erővel átitatott önálló és eredeti nyelvet alkotott. Végtelenül szubjektív és kitárulkozó művész volt, az élettények és a művek között szoros kapocs ismerhető fel.
