A Manchesterhez közeli Bollingtonban született munkáscsaládban 1891. október 20-án. A manchesteri egyetemen matematikát akart tanulni, de tévedésből a fizika szakra került, ahol egyik professzora „az atomfizika atyja”, az akkor már – furamód kémiai – Nobel-díjas Ernst Rutherford volt. Diplomáját kitüntetéssel szerezte meg, ezután két évig Rutherford laboratóriumában a radioaktivitás különböző problémáit vizsgálta. 1913-tól ösztöndíjjal Berlinben a részecskeszámlálót kifejlesztő Hans Geiger oldalán dolgozott, de az első világháború kitörésekor, mivel ellenséges ország állampolgára volt, internálták, és csak 1918-ban engedték szabadon.
Hazatérve ismét Rutherford mellett dolgozott, 1923-tól kutatási igazgatóhelyettesként a cambridge-i Cavendish Laboratóriumban, ahol 1919-ben először sikerült mesterséges elemátalakítást véghez vinni: a nitrogénatomot alfa-részecskékkel bombázták, és az oxigénné és hidrogénné alakult. Chadwick a gamma-sugárzás és az atommag szerkezetének kutatásában vett részt, több tanulmányt is publikált a témában.
Rutherford 1911-ben dolgozta ki atommodelljét, amely szerint a pozitív töltések kis helyen, az atommagban helyezkednek el, s itt koncentrálódik az atom tömege, e körül keringenek a kis tömegű, negatív töltésű elektronok, amelyek kiegyenlítik a mag pozitív töltését. A továbbfejlesztett Niels Bohr-modell szerint az elektronok csak meghatározott sugarú körpályán keringhetnek, amelyen nem sugároznak, s ha pályát váltanak, az atom fényt nyel el vagy sugároz ki. Ez a modell azonban számos kérdésre nem adott magyarázatot. Adódott a feltételezés, hogy az atommagban lennie kell elektromosan semleges részecskének is, mert az atommagok rendre nehezebbnek bizonyultak a bennük lévő protonok tömegénél, és azt is nehéz volt megmagyarázni, hogy maradhattak együtt az egymást taszító protonok.
1930-ban a német Walther Bothe berilliumot bombázott alfa-részecskékkel, és meglepetésére rendkívül erős, vastag ólomrétegen is áthaladó sugárzás keletkezett. A rejtélyes jelenséget kutatva a francia Frédéric és Irène Joliot-Curie 1932-ben a sugarak útjába paraffint helyezve kimutatta, hogy az a hidrogént tartalmazó anyagokból nagy sebességgel protonokat lök ki. Chadwick a kísérletet más anyagokra is kiterjesztette, és minden esetben kilökődő atommagokat észlelt. A kilökött protonok és nitrogénatomok energiáját megmérve, és feltételezve, hogy a sugárzás egyfajta részecskékből áll, kiszámolta e részecskék impulzusát, amely egyenlő volt a protonéval. Ezzel nemcsak az 1920-as évek óta keresett semleges részecskét, a neutront fedezte fel, hanem egy újfajta magátalakulást is: az alfa-részecske a berillium atommagjából egy neutront ütött ki, amely aztán a paraffin atommagjából protont lökött ki. Eredményeiről a Nature folyóirat 1932. február 27-i cikkében számolt be, és már három évvel később, 1935-ben megkapta a fizikai Nobel-díjat.
Chadwick felfedezése paradigmaváltásnak tekinthető a részecskefizikában. A neutron mélyen be tud hatolni az anyagok belsejébe, a legnehezebb elemek magján is képes áthatolni vagy széthasítani azt, ez tette lehetővé az atombomba kidolgozását és az atomenergia békés célú felhasználását.
Chadwick 1935-ben a Liverpooli Egyetem professzora lett. A francia Francis Perrin 1939-ben, néhány hónappal a maghasadás felfedezése után bevezette a láncreakció beindulásához szükséges kritikus tömeg fogalmát, ezt Chadwick számításai 1940-ben hozzávetőleg húsz kilogramm 235-ös izotópszámú uránra tették, ezt később már csak nyolc kilogrammra módosította. Chadwick tagja volt az atombomba kifejlesztésének lehetőségét vizsgáló, 1940-ben létrehozott brit MAUD-bizottságnak, majd a Manhattan-terv angol kooperációs misszióját vezette.
Visszatérve Angliába segített a brit atomenergia-program beindításában, egy részecskegyorsító szinkrotron létrehozásával az atomfizika jelentős kutatóközpontjává tette a Liverpooli Egyetemet. Évekig az ENSZ 1946-ban alakult Atomenergia-bizottságának tudományos tanácsadója volt, kiemelkedő szerepet játszott abban, hogy a britek úgy döntöttek, részt vesznek a CERN európai nukleáris kutatóközpont fejlesztésében, 1959-ben vonult nyugdíjba.
A Nobel-díj mellett számos elismerésben részesült: 1927-ben lett a Royal Society tagja, 1945-ben lovaggá ütötték. A halál 1974. július 24-én, álmában érte. A Liverpooli Egyetemen laboratórium és egy épület, a Holdon egy kráter viseli nevét.