A Glasgow melletti Uddingstonban jött a világra, apja bányamérnök, anyja varrónő volt, akik nehéz körülményeik ellenére mind az öt gyereküket taníttatták. Iskolai éveiben a zene és a matematika iránt érdeklődött, tizenöt évesen tanára biztatására pályázta meg a St. Andrews Egyetem ösztöndíját, mert családja túl szegény volt ahhoz, hogy az egyetemre küldje. Skócia legrégebbi egyetemén 1946-ban szerzett orvosi diplomát; még ugyanebben az évben megnősült, az egyetemen megismert feleségétől egy lánya született, majd az ő halála után, 1994-ben másodszor is megházasodott.
Klinikai gyakorlata során látva az orvos és beteg közötti személytelen kapcsolatot, a gyógyítás helyett inkább a kutatást és oktatást választotta. Az University College Dundee (a későbbi Dundee-i Egyetem) fiziológiai részlegén kezdett tanítani, majd anyagi okokból, hogy törleszthesse orvosi tanulmányainak költségeit, három évig a szingapúri egyetemen oktatott. 1950-ben visszatért Skóciába, és létrehozta a Glasgow-i Egyetem állatorvostudományi fiziológiai részlegét, ahol többek között az adrenalin emberi szívre gyakorolt hatását tanulmányozta, ami azért is foglalkoztatta, mert apja szívrohamban halt meg.
Tevékenysége felkeltette az ICI (Imperial Chemical Industries) gyógyszergyár figyelmét, és 1958-ban állást ajánlottak neki. Kutatási területe a szív- és érrendszeri megbetegedések, az infarktus megelőzése, a szimpatikus idegrendszer volt. A korban egyedülálló módon céltudatosan fejlesztette ki a hatóanyagokat, nem pedig előbb szintetizálta a molekulákat és utána kezdte vizsgálni hatásukat. Az első béta-blokkoló szert 1962-ben fejlesztette ki: a propranolol a szívben található, úgynevezett béta-receptorokat blokkolja – ezáltal nyugtató hatással van a szívizmokra, és azok mintegy elszigetelődnek a stressztől –, ami szívrohamon átesett pácienseknél jelentősen csökkenti a halálozási arányt. A béta-blokkoló szereket ma már többféle betegségnél használják, így szívritmuszavarnál, szorongásnál, bizonyos típusú fejfájásnál és magas vérnyomásnál; újabb kutatások szerint alkalmazásuk gátolja az érrendszeri megbetegedésekből eredő időskori demencia kialakulását is. A szívműködést lassító, a vérnyomást csökkentő propanolol hatalmas áttörést jelentett, ez lett az addigi legkelendőbb gyógyszer.
Ezután a gyomorfekély gyógyszerének felfedezésére szeretett volna összpontosítani, s mivel az ICI nem támogatta, 1964-ben elvállalta az amerikai Smith, Kline & French gyógyszerészeti kutatásainak vezetését. Új gyógyszert sikerült előállítania – a gyomorsav és peptid termelődését csökkentő, a hisztaminreceptorokat blokkoló cimetidin forradalmasította a gyomor- és nyombélfekély kezelését.
1973-ban elfogadta a londoni University College ajánlatát a farmakológia tanszék vezetésére, ahol új gyógyszerkémiai képzést indított. Néhány év múlva azonban csalódottan távozott az intézményből a szűkös pénzügyi támogatás miatt, és 1978-ban a Wellcome Kutatólaboratóriumban vállalt igazgatói posztot. Itt hamarosan összeütközésbe került főnökével, az aszpirin fájdalomcsillapító mechanizmusát megfejtő, 1982-ben orvosi Nobel-díjat kapott John Vane-nel, és 1984-ben felmondott. A londoni King’s College analitikai farmakológia professzora (1992-től professor emeritusa) lett, az amerikai Johnson and Johnson amerikai gyógyszergyár támogatásával alapítványt hozott létre, valamint 25 tudósból álló kutatócsoportot vezetett.
1992-ban alma matere hívására hazatért Skóciába és a Dundee-i Egyetem kancellárja lett, 2006-ban vonult nyugdíjba. 2002-ben prosztatarákot diagnosztizáltak nála, a betegség következtében hunyt el 85 éves korában, 2010. március 21-én Londonban; sírja a skót felföldi Ardlach temetőjében található.
James Black kutatási eredményeit számos kitüntetéssel ismerték el. 1976-ban a brit Royal Society tagja lett, ugyanabban az évben a Nobel-díj előszobájaként emlegetett, orvosi alapkutatásért járó Albert Lasker-díjban, 1982-ben orvosi Wolf-díjban részesült. 1981-ben lovaggá ütötték, és ettől kezdve kijárt neki a Sir megszólítás. 2000-ben megkapta az Order of Merit kitüntetést, amelynek egyszerre csak 24 birtokosa lehet a brit Nemzetközösség országaiban. Az ő nevét viseli a Dundee-i Egyetem kutatóközpontja, a King’s College egyik kutatóintézete és a Glasgow-i Egyetem egyik épülete. Az Edinburghi Királyi Társaság és a Brit Farmakológus Társaság díjat nevezett el róla. Edinburghben a skót nemzeti múzeum őrzi tudományos eredményeit bemutató tárgyi gyűjteményét. A legrangosabb tudományos kitüntetést, az orvostudományi Nobel-díjat 1988-ban – az amerikai Gertrude B. Elion és George H. Hitching társaságában – megosztva kapta meg „a gyógyszeres kezelés fontos alapelveit érintő felfedezéseiért”.
