1886. január 25-én született Berlinben, gyermekkorát Münchenben töltötte. Édesapja régész, édesanyja festő volt, bátyja matematikus lett, ő a zene iránt érdeklődött. Egész életében Beethoven művei voltak számára meghatározóak. Tizenévesen kamaradarabokat komponált, huszonhárom évesen fejezte be Te Deumát, amelyen hét évig dolgozott. Húszévesen mutatkozott be karmesterként, Bruckner IX. szimfóniáját és egy saját művét dirigálta Münchenben. Bár a pulpituson már ekkor is „túlmozgásos” volt, a közönség soraiban ülő Bruno Walter karmester meglátta benne a tehetséget. Egyik mentora a több Wagner-ősbemutatón vezénylő Felix Mottl lett, s pályája elindításában nagy szerepet játszott a magyar karmester, Nikisch Artúr is.
Zürichben kóruskarnagyként működött, majd a strasbourgi, a lübecki, a mannheimi, a müncheni, a frankfurti és a bécsi operában vezényelt. 1920-ban Richard Strauss utóda lett a berlini operában, két évvel később – Nikisch halálát követően – a híres lipcsei Gewandhaus zenekarnál, majd a Berlini Filharmonikusoknál is örökébe lépett. 1952-ben a berlini együttes örökös zenei igazgatója lett, halála után Herbert von Karajan követte e poszton.
1930-ban a Bécsi Filharmonikusok, három évvel később a berlini Staatsoper igazgatója, a Birodalmi Zenei Kamara alelnöke és államtanácsos lett, 1931-től a bayreuthi ünnepi játékokat is ő irányította.
Amikor 1933-ban Hitler hatalomra jutott, sok művész hagyta el Németországot, de Furtwängler a Harmadik Birodalomban maradt. Ténykedésének megítélése máig ellentmondásos: titokban több zsidónak minősített művésznek segített, a Berlini Filharmonikusok zsidó tagjait szólistaként léptette fel. Kiállt a propagandaminiszter Goebbels által az „elfajzott művészethez” sorolt, „atonális zajcsinálónak” minősített Paul Hindemith zeneszerző mellett. 1934-ben lemondott tisztségeiről, egy évig még a vezényléstől is visszavonult.
A második világháború után a bíróság felmentette a kollaboráció vádja alól, de a bélyeg élete végéig rajta maradt. Ez az igazoló eljárás volt Szabó István 2001-ben készült, a művészi és emberi felelősséget kutató Szembesítés című filmjének témája; a dirigenst Stellan Skarsgård svéd színész, amerikai kihallgatótisztjét Harvey Keitel formálta meg. A komponista a háború után Svájcban telepedett le, itt fejezte be legismertebb és legkiválóbbnak tartott művét, II. (e-moll) szimfóniáját. A zeneművet később annak a Daniel Barenboimnak a vezényletével rögzítették lemezre, akit Furtwängler egyik legtekintélyesebb követőjének tartanak, s aki a Szembesítésben felhangzó zeneműveket is dirigálta.
A német dirigens a háború utáni első koncertjén, 1947 májusában Beethoven V. és VI. szimfóniáját vezényelte a Berlini Filharmonikusok élén. 1949-ben felajánlották neki a Chicagói Szimfonikusok vezetői posztját, de múltja miatt ez ellen sokan tiltakoztak, s végül nem nevezték ki. III. szimfóniáját már nem tudta befejezni, Wilhelm Furtwängler 1954. november 30-án hunyt el a Baden-Badenhez közeli Ebersteinburgban. Sírja a heidelbergi Bergfriedhof temetőben található, búcsúztatóján a német művészeti és politikai élet számos kiemelkedő alakja is megjelent, köztük Konrad Adenauer kancellár.
Furtwängler a zenekart nemcsak karjával, hanem egész teste mozgásával dirigálta (azt mondta, azért nem a metrumot üti, mert az unalmas lenne), a legenda szerint néha énekelt is a pulpituson, sajátos „technikája” sokszor bizonytalanította el a zenészeket a belépést illetően.
azt vezényelt, amit a hangok mögött érzett, ezért nevezték „a hangzás mágusának”. Legnagyobb sikereit Beethoven, Brahms és Bruckner szimfóniáinak tolmácsolásával aratta, de kortárs darabokat – köztük Hindemith, Arnold Schönberg és Bartók Béla műveit – is repertoárra vett. Ő dirigálta 1927-ben Bartók 1. zongoraversenyének frankfurti és 1932-ben Prokofjev V. zongoraversenyének ősbemutatóját, a zongoránál mindkét alkalommal a szerzők ültek. Az 1920-as évektől az 1940-es évekig számos alkalommal lépett fel magyarországi koncertpódiumon. A legnagyobb mesterműnek Beethoven IX. szimfóniáját tartotta, ezt vezényelte 1951 júliusában is, a bayreuthi játékok újraindításakor. A művet hét alkalommal rögzítették vele, mindig élő előadáson, a lemezek zenei felfogásának változásait is tükrözik: az első 1942-ből való, az utolsó halála évéből, ő maga ezt tartotta a legtöbbre.
Karmesteri és zeneszerzői tevékenysége mellett számos zeneelméleti írást is jegyzett. Nevével hazájában díjat alapítottak, amellyel mások mellett Daniel Barenboim, Kurt Masur, James Levine, Lorin Maazel, Zubin Mehta és Kent Nagano karmestert is kitüntették.