Nagyapja, Johann Michel Strauss Budáról költözött Bécsbe, ahol kárpitossegéd lett és a zsidó vallásról áttért a katolikus hitre, apja már kocsmárosként boldogult. Johann 1804. március 14-én született, de hétéves korában elvesztette anyját, öt évvel később teljes árvaságra jutott. Gyámja könyvkötőnek taníttatta, a mestervizsgát is letette, de a szakmát soha nem gyakorolta. Beleszeretett ugyanis a hegedűbe, amelyen önerejéből tanult meg játszani, és 15 éves korától a tánczenét játszó Michael Pamer zenekarában brácsázott. 1823-tól a nála nem sokkal idősebb Joseph Lanner – későbbi nagy riválisa – kvartettjében játszott, majd annak zenekarát vezényelte segédkarnagyként. Bár folytatott zeneelméleti tanulmányokat is, lényegében autodidakta volt.
Tizenkilenc évesen a nagyobb bevétel reményében önállósította magát, és saját zenekart alapított, amely kocsmákban és fogadókban játszott. Első sikeres szerzeménye a Täuberln-Walzer volt, ez arról a Zwei Tauben fogadóról kapta a nevét, ahol rendszeresen felléptek. Ettől kezdve rendszeresen írt keringőket, majd galoppokat, amelyekkel nagy hírnévre tett szert. A bécsi keringő az alpesi vidékek néptáncából, a ländlerből alakult ki a 18-19. század fordulóján, s akkoriban erkölcstelennek tartották, mivel ez volt az első tánc, ahol a párok egymás derekát fogták. A darabos paraszttánc Strauss kezei alatt átformálódott, és a szalonok és báltermek háromnegyedes ütemű társasági tánca, „a táncok királya” lett.
Strauss 1830-ban a leopoldstadti Sperl táncteremben vezényelt, ekkor már az „osztrák zene Napóleonjaként” emlegették – abban is úttörő volt, hogy fix fellépti díjat kötött ki magának, míg korábban a koncert alatt „kalapoztak”, így a bevétel a vendégsereg pillanatnyi hangulatától függött. Nagyszabású zenei előadásokat, látványosságokat szervezett, 1846-tól a császári bálok zeneigazgatója lett, ezt a funkciót az ő számára kreálták. Zenekarával, amely utódai keze alatt egészen 1901-ig működött, Európa-szerte fellépett, Angliától – ahol Viktória brit királynő koronázási szertartásán is muzsikált – Németországon át Franciaországig, az itt megismert quadrille táncot ő tette népszerűvé a Habsburg Birodalomban. Elsőként állított össze koncertet kizárólag tánczenéből, műveibe előszeretettel szőtt ismert motívumokat, így például a Bécsi karnevál keringőbe Weber Oberon című operájának nyitányát, a Párizsi keringőbe a Marseillaise-t.
Gyarapodó családjával – ekkor már hat gyermeke volt – 1834-ben egy hatalmas házba költözött. Gyermekeit szigorúan nevelte, fiait eltiltotta a zenétől, a későbbi keringőkirály ifjabb Johann-nak pénzügyi, Josefnek katonai, Eduardnak diplomáciai pályát szánt – hiába, mindannyian muzsikusok lettek. Strauss egy szeretőt is tartott, akitől még nyolc gyermeke született, 1844-ben, miután felvállalta viszonyukat, felesége elvált tőle.
Népszerű keringői mellett polkákat, indulókat is szerzett, összesen tizennyolcat, a leghíresebbet az első bécsi forradalom után, 1848 nyarán az olasz forradalmakat leverő veterán Joseph Radetzky marsall tiszteletére komponálta, akinek a nevét e műve tette halhatatlanná. A gyorsan rendkívül népszerűvé vált induló a hagyományos bécsi újévi koncertek záródarabja, amikor a karmester a zenekarnak hátat fordítva a tapsoló közönséget vezényli.
Viszonya Johann fiával, aki apja akarata ellenére vett hegedűórákat és soha nem tudta megbocsátani apja hűtlenségét, gyorsan rivalizálássá változott. Minden eszközzel, de sikertelenül próbálta megakadályozni fia zenekarának bemutatkozását, s amikor erre 1844-ben kirobbanó sikerrel került sor, többé nem volt hajlandó fellépni a koncert helyszínén. A sajtó által is szított vetélkedés éveken át beárnyékolta viszonyukat, az idősebb Johann egy látszatkibékülés után felajánlotta, hogy fia csatlakozzék az ő együtteséhez, de kikosarazták. Az 1848-as forradalom is az ellenkező oldalon találta őket: az idősebb Strauss a fennálló rendet fogadta el, míg fia a forradalmárokkal rokonszenvezett.
Idősebb Johann Strauss 1849. szeptember 18-án vezényelt utoljára egy délutáni koncerten. Három nappal később belázasodott, mert egyik törvénytelen gyermekétől elkapta a skarlátot, és szeptember 25-én, alig 45 évesen meghalt Bécsben. Utolsó útjára százezres tömeg kísérte a döblingi temetőbe, ahol Lanner mellé temették. A két muzsikus földi maradványait később a központi temetőbe helyezték át, egykori sírhelyük helyén ma a Strauss–Lanner park található.
Idősebb Johann Strauss több mint 250 darabot írt, ezek közül 150 keringő, összegyűjtött műveit Johann fia adta ki 1889-ben. Őt nevezték először keringőkirálynak, a francia Hector Berlioz azt mondta róla: „Bécs Strauss nélkül olyan, mint Ausztria a Duna nélkül.” A cím később fiára, ifjabb Johannra szállt, másik két fia, Josef és Eduard is karmester lett, Josef keringőket is komponált.