A legmagasabb, brahmin kasztba tartozó politikuscsaládba született 1889. november 14-én az Uttar Prades állambeli, a szent Gangesz és Jamuna folyók összefolyásánál fekvő Prajágrádzsban (akkor Allahábád). Ügyvéd apja, Motilál Nehru a kezdetektől az 1885-ben alapított, a brit uralom ellen harcoló Kongresszus Párt egyik vezetője volt. Gyermekei a lehető legjobb képzésben részesültek, Dzsaváharlál egyik nővére, Vidzsaja Laksmi Pandit 1953-ban az ENSZ-közgyűlés első női elnöke, húga, Krishna Hutheesing ismert író lett. Nehru az angliai Harrow-ban járt középiskolába, majd a híres cambridge-i Trinity College-ban természettudományi, Londonban pedig jogi diplomát szerzett. 23 évesen tért haza, négy évvel később megnősült, és 1917-ben megszületett Indira lánya, aki később maga is indiai kormányfő lett.
Nehru és apja az Indiai Nemzeti Kongresszus párt 1916-os tanácskozásán ismerték meg Mahátma Gandhit, és mindketten hívévé szegődtek. A függetlenséget Gandhi az erőszak elutasításával, a brit gyarmatosítókkal való együttműködést elutasító engedetlenségi mozgalommal, a brit áruk bojkottjával akarta kiharcolni. Miután 1919-ben brit katonák Amritszarban a békésen tüntető tömegbe lőttek, és 379 fegyvertelen indiait lemészároltak, a felháborodott Nehru belépett a Kongresszus Pártba, és úgy döntött: minden idejét a függetlenségi mozgalomnak szenteli.
Tevékenységéért többször bebörtönözték, összesen kilenc évet töltött a rács mögött. 1929-ben Gandhi támogatásával pártelnök lett – szövetségeseket keresve megfordult a Szovjetunióban is. Az 1930-as években elutasította a fasiszta hatalmak hegemón törekvéseit, és kimondta: a küszöbön álló háborúban India az európai demokráciák oldalán áll, de csak szabad országként harcolhat mellettük.
A harmincas években, amikor Gandhi egyfajta szellemi vezetőként ténykedett, Nehru számított a függetlenségi mozgalom első számú vezetőjének. Közös sikerük volt az 1935-ben elfogadott, Indiának korlátozott autonómiát biztosító brit törvény. Az ennek nyomán rendezett választásokon a tartományok többségében a Kongresszus Párt győzött, ami viszont kiélezte a viszonyt a Muzulmán Ligával, felvetve India kettészakadásának veszélyét.
Amikor 1939-ben a brit vezetés a tartományok megkérdezése nélkül jelentette be India belépését a világháborúba, a Kongresszus Párt tiltakozásként visszahívta minisztereit a tartományi kormányokból. Gandhi és Nehru az 1930-as, az erőszakmentes ellenállás jelképévé vált sómenet példájára passzív rezisztenciát hirdetett, felszólította az indiaiakat: ne tartsák be a brit törvényeket. A britek válaszul a Kongresszus Párt teljes vezetését bebörtönözték, Nehru csak 1945-ben szabadult.
Egy évvel később, amikor a britek tárgyalást kezdtek a hatalom átadásáról, Nehru állt az átmeneti kormány élére. Az önálló államot követelő muszlimokkal nem tudott megállapodni, ezért végül maga is támogatta a brit gyarmat felosztását Indiára és Pakisztánra. Amikor 1947. augusztus 15-én India és Pakisztán független domínium lett, a hinduk és a muszlimok között tömegmészárlásokba torkolló összecsapások robbantak ki, és 15 millióan kényszerültek lakóhelyük elhagyására. Gandhit 1948. január 30-án meggyilkolta egy hindu fanatikus – a független India vérben és tűzben született.
Nehru neve összefonódott a függetlenségi mozgalommal, Mahátma Gandhi közvetlen munkatársa volt, általános népszerűséggel és tekintéllyel rendelkezett, így természetesnek számított, hogy a függetlenné válást követően ő vezesse Indiát. Az Indiai Köztársaságot 1950. január 26-án kiáltották ki. A brit gyarmati örökség következtében a nemzetépítés igen bonyolult feladatai álltak előtte: India egységes állami létét veszélyeztette a gazdasági elmaradottság, a nyomor, az óriási vagyoni és társadalmi különbségek, a vallási, nyelvi és kasztmegosztottság.
Nehru 17 évig állt a kormány élén. Gazdaságpolitikája az állami szektor erősítését, a nehézipar fejlesztését célozta, az országban tervgazdaságon alapuló államkapitalizmus jött létre, ami 1956 után a vegyes gazdaság felé tolódott. Nehru a technikai fejlődés szerepét hangsúlyozta, a törődést a szegényekkel; politikájának négy pillére a demokrácia, a szekularizáció, a szocializmus és a nemzeti egység volt. Felvilágosító akciókat indított az előítéletek, a kasztok, a tudatlanság ellen. 1956 októberében Nehru instrukciójára az indiai külpolitika kifejezte rokonszenvét a Nagy Imre-kormány és a magyar függetlenségi törekvések iránt. Nem közismert, hogy India pozitív szerepet játszott később az ENSZ-ben „a magyar kérdés” megvitatásakor, igyekezett segíteni azokat az embereket, akik nehéz helyzetbe kerültek a megtorlások időszakában.
A független India első kormányfője 1964. május 27-én halt meg Újdelhiben, szívroham következtében. Holttestét ősi, hagyományos vallási szertartás szerint máglyán égették el a szent Jamuna folyó partján. Születése napján ünneplik Indiában a gyermeknapot, kifejezve ezzel a volt miniszterelnök gyermekek iránti szeretetét és hitét abban, hogy a gyermekek oktatása előreviszi az ország fejlődését. Emlékét Budapesten, a IX. kerületben a Duna menti Nehru-part őrzi.