A skóciai Lochfieldben született 1881. augusztus 6-án egy gazdálkodó négy gyermeke közül harmadikként. Az ösztöndíjjal elvégzett kereskedelmi középiskola után tisztviselő lett egy hajózási társaságnál, de öt év robot után 250 fontot örökölt nagybátyjától, és ismét tanulásba foghatott. Különbözeti vizsgával bejutott a londoni egyetemhez tartozó St. Mary’s Hospital Medical Schoolba – azért ezt választotta, mert itt volt a legjobb vízilabdacsapat (a sport később is fontos szerepet játszott életében). 1908-ban szerzett orvosi diplomát Sir Almroth Wright, a jeles mikrobiológus szakmai irányításával, aki életét a baktériumos fertőzések immunológiai gyógyításának szentelte.
Fleming napi 12-14 órát dolgozott, főként azt vizsgálta, hogy a kórokozókat bekebelező falósejteknek (az Ilja Mecsnyikov által felfedezett fagocitáknak) milyen szerepük van a betegségek leküzdésében.
Ő vezette be Angliában a vérbaj gyógyítására a Paul Ehrlich által felfedezett Salvarsant.
Az I. világháborúban a hadsereg egészségügyi alakulataiban szolgált, ki is tüntették, és bőséges alkalma nyílt a sebgyógyítás és az antiszeptikumok tanulmányozására. 1921-ben megfigyelte: ha orrváladékot cseppent a baktériumtenyészetbe, a telep áttetszővé válik, a mikrobák feloldódnak. Fleming izolálta és lizozimnek nevezte el a jelenséget kiváltó anyagot, amelyről kiderült, hogy egyes testváladékokban (például a könnyben és a nyálban) található, antibiotikus hatású enzim. Kutatásait érdektelenség fogadta, a lizozimből nem lett gyógyszer, ám sikerült megbízható és gyors in vitro módszereket kidolgoznia.
Legfontosabb felfedezését a véletlennek köszönhette. 1928-ban tankönyvírás közben újra elvégezte egyes kísérleteit, és feltűnt neki, hogy amikor a napokig fedetlenül heverő stafilococcus baktériumtenyészetbe egy penészgombatelep, a Penicillium notatum spórái kerültek, a foltok körül baktériummentes gyűrű alakult ki. Fleming izolálta a száraz kenyéren tenyésző penésszel közeli rokonságban álló gombát, és megállapította: olyan anyagot termel, amely nyolcszázszoros hígításban is meggátolja a baktériumok növekedését.
Még ezek az eredményei sem keltettek különösebb szakmai feltűnést. Kutatásait folytatva munkatársaival, Stuart Craddockkal és Frederick Ridley-vel megvizsgálta, hogy a penicillin mely baktériumokra hat, és melyekre nem. Azt is megállapította – és ez nagyon fontos volt –, hogy a penicillin a baktériumok egy részét elpusztítja ugyan, de a fehérvérsejtekre nincs hatással. Ezek után cikkében (a laboratóriumot vezető és a kemoterápiát ellenző Wright rosszallását kiváltva) megállapította: a mikroorganizmusok okozta fertőzések helyi kezelésére a penicillin alkalmas lehet. Fleming tudománya itt azonban elfogyott: nem lévén kémikus, nem tudta az anyagot sem izolálni, sem azonosítani, és cikkére évekig nem figyeltek fel.
A penicillin kémiai azonosítását az ausztrál születésű Howard Florey és a Németországból emigrált Ernst Chain végezték el, és nekik sikerült tiszta és koncentrált formában előállítaniuk.
A három kutató együtt dolgozott tovább, eredményeiket Fleming jelentette meg cikkében. A felfedezést nem szabadalmaztatták, az emberiségnek ajándékozták. A penicillint először 1941-ben egy tályogos és csontvelőgyulladásos oxfordi rendőrön próbálták ki, akinek állapota eleinte javult, ám öt nap alatt a gyógyszer elfogyott, és a beteg végül meghalt.
Az anyag ipari előállítását a második világháborúban kezdték meg, és eleinte csak a hadsereg tagjai kaphattak belőle. Az első nagy eredmény egy pilóta üszkösödésnek indult lábának megmentése volt, majd Winston Churchillt is a penicillinnel gyógyították ki tüdőgyulladásából. A szernek köszönhetően kevesebb végtag-amputációra került sor, sőt a nemi betegségek ellen is hatásosnak bizonyult.
Fleminget hősként ünnepelték, 1943-ban a Royal Society tagjává választották, 1944-ben lovaggá ütötték. 1945-ben Chainnel és Florey-val megosztva orvostudományi Nobel-díjat kapott „a penicillin, valamint annak felfedezéséért, hogy az számos fertőző betegség hatásos gyógyszere”.
1946-ban, Wright nyugdíjazása után ő vette át a St. Mary bakteriológiai laboratórium vezetését, a londoni egyetem professzoraként vonult nyugdíjba 1948-ban. Ebben az évben meghalt felesége, a tudós 1953-ban ismét megházasodott, egy görög orvosnőt vett feleségül.
Fleming 1955. március 11-én halt meg Londonban, hamvai Nelson admirális és Wellington herceg sírja mellett, a Szent Pál-katedrálisban nyugszanak. Életéről André Maurois írt Fleming és a penicillin regénye címmel könyvet, amely magyarul is megjelent. Londoni laboratóriuma múzeum lett, a Time magazin 1999-ben beválasztotta a múlt század száz legfontosabb személyisége közé, ugyanebben az évben hazájában 1600 közismert skót személyiség közül őt választották az évszázad emberének, tíz évvel később – Robert Burns és William Wallace után – őt szavazták meg minden idők harmadik legnagyobb skót személyiségének. Nevét viseli utca és tér, több intézmény, kisbolygó és hegycsúcs Új-Zélandon, és szobra áll egyebek között a madridi Aréna előtt is, a torreádorok megmentőjeként.
