John Roy Anderson (a h betűt hivatalosan 1970-ben hagyta el nevéből) skót apa és ír-francia anya gyermekeként Accringtonban látta meg a napvilágot. Formális zenei képzésben nem részesült, sokáig csak saját örömére énekelgetett. Az iskolát apja betegsége miatt tizenöt évesen abbahagyta, ezután volt tejesember, teherautósofőr és pincér. 18 évesen csatlakozott bátyja Warriors nevű együtteséhez, ahol hamarosan énekessé rukkolt elő. Az együttes, akárcsak a Beatles, egy ideig Németországban játszott és a liverpooli Cavern klubban is fellépett, de itt véget is ért a hasonlóság. Anderson 1967-ben kilépett és Hans Christian Anderson néven két kislemezt adott ki, majd rövid ideig a The Gun együttesben énekelt.
1968 márciusában csatlakozott Chris Squire basszusgitáros és Peter Banks gitáros Mabel Greer’s Toyshop nevű együtteséhez, amely nem sokkal később Bill Bruford dobossal és Tony Kaye billentyűssel kiegészülve a Yes nevet vette fel. A Yes komoly hangsúlyt fektetett a dallamra, a vokális hangzásra és a szövegekre, a kritika a progresszív rockzene kiemelkedő előadójaként méltatta őket. Anderson az 1972-ben Kaye helyére lépő Rick Wakeman billentyűssel együtt a banda vezéregyénisége lett, legsikeresebb dalaik mindegyikének szövegét ő írta – társai csak félig tréfásan Napóleonnak becézték kicsiny termete és vezető szerepe miatt. A Yes 1969-ben és egy évvel később megjelent első két albuma nagy kritikai, de kisebb kereskedelmi sikert aratott, az áttörést az 1971-es Yessongs hozta meg, amelyen már Steve Howe gitározott. A formáció egy évtized alatt tíz lemezt adott ki, köztük olyan klasszikusokat, mint az 1971-es Fragile, ezen hallható első slágerük, a Roundabout, a Close To The Edge, a dupla album Tales From The Topograhic Oceans, az 1977-es Going for the One. A turnézásba és a zenei stílusukról folytatott vitákba belefáradt Wakeman 1974-ben kilépett, helyére Anderson Vangelist hívta meg, de a görög billentyűs a munkavállalási vízummal kapcsolatos problémák, a zenész szakszervezet elutasítása és a turnéktól való vonakodása miatt elutasította a felkérést. Wakeman 1977-ben visszatért, de egy év múlva ismét kilépett, 1980-ban pedig Anderson is otthagyta az együttest.
Első és máig legjobbnak tartott szólólemeze, az Olias of Sunhillow 1976-ban jelent meg. A Roger Dean grafikus által a Fragile című Yes-albumhoz tervezett képei ihlette, sci-fi témájú korongon a progresszív rock, a pszichedelikus zene, a világzene és az elektronikus zene elemei keverednek, és minden hangszert Anderson szólaltatott meg; ezt követte négy év múlva a Song of Seven. Az együttesből való kilépése után ismét Vangelisszel kezdett dolgozni. Első lemezük, a Short Stories akkora sikert aratott, és annyira élvezték a közös munkát, hogy 1991-ig még három lemezt jelentettek meg, Anderson hárfázott Vangelis 1979-es Opéra Sauvage című albumán is. Érdekesség, hogy az énekes az 1970-es évek végén közel lakott és közeli barátságba került a Monty Python csoporthoz tartozó Eric Idle színésszel, aki a Brian élete forgatása előtt neki énekelte el először az Always Look On The Bright Side Of Life című dalt, hogy kikérje véleményét.
A Yes 1983-ban újjáalakult, 90125 című albumukról az Owner Of A Lonely Heart pályafutásuk legnagyobb slágere lett. A személyes és zenei ellentétek azonban megmaradtak, és az énekes egy újabb album után, 1987-ben ismét kilépett. Szólólemezei mellett a Led Zeppelin basszusgitárosával, John Paul Jonesszal és a Tangerine Dreammel is dolgozott, játszott a japán Kitaróval és folyamatosan turnézott.
Anderson, Wakemen, Bruford és Howe 1988-ban ismét együtt kezdett dolgozni, de a Yes nevet nem használhatták, mert az Chris Squire tulajdonában volt, aki a Yes más korábbi tagjaival zenélt együtt. A két társulat végül közösen rögzítette a Union című lemezt, jóllehet mind a nyolcan egyszer sem tartózkodtak együtt a stúdióban. Az állandóan változó felállású Yes még ma is aktív, Anderson hangja utoljára a 2001-es Magnification című korongon volt hallható, s egészen 2008-ig turnézott velük.
Az énekes tizenhatodik szólólemeze True címmel idén látott napvilágot. Az 1980-as és ’90-es években egy Marc Chagall festőről szóló, kiadatlan musicalen dolgozott, amelyről eddig csak két dal jelent meg. Az 1990-es évektől számos alkalmi és tartósabb formációban megfordult, akár csak egy-egy koncert, hosszabb turné vagy egy-egy lemezfelvétel erejéig. Énekesként és zenészként olyan híres előadókkal dolgozott együtt, mint a King Crimson, a Toto, a Glass Hammer, Mike Oldfield, a jazzhegedűs Jean-Luc Ponty, sőt, még a tiszteletbeli magyarrá fogadott amerikai bendzsóvirtuóz, Béla Fleck lemezein is közreműködött.
Jon Anderson 2017-ben a Yes tagjaként került be a rock halhatatlanjai közé. Hosszabb ideje egy kis kaliforniai városkában él, három gyermeke mind zenei pályára lépett. Magyarországon legutóbb 2023 júliusában a Manfred Mann’s Earth Band társaságában lépett fel az Erkel Színházban.
