Blau Jenő néven egy budapesti fogorvos fiaként született. Első hegedűóráit háromévesen kapta apjától, a Zeneakadémia hegedű tanszakára ötévesen vették fel, s ő lett Hubay Jenő kedvenc tanítványa. Kilencévesen már Ferenc József előtt lépett fel, a sajtó csodagyerekként ünnepelte – hallására jellemző, hogy egy koncerten bekiabált a szólistának, hogy F helyett fiszt játszott. Diplomáját 14 évesen külön minisztériumi engedéllyel szerezte meg, a Tanácsköztársaság idején, alig 19 évesen rövid ideig tanított is a Zeneakadémián, 1920-ban filozófiai diplomát is szerzett.
Több körutat tett Közép-Európában, főleg Berlinben aratott sikereket, ahol a Blüthner Zenekar hangversenymestere, első hegedűse lett. Huszonkét évesen egy turné ígéretével Amerikába csábították, de impresszáriója cserben hagyta, s alig öt centtel a zsebében állt a New York-i utcán. Végül egy nagy mozi zenekarának magyar karmestere felvette a némafilmeket kísérő együttesbe, majd egy rádiózenekar hegedűse is lett.
Karmesteri karrierje 1924-ben indult, amikor – immár Eugene Ormandy néven – egy mozizenekar élén, beugróként elvezényelte Csajkovszkij 4. szimfóniáját, s ott helyben helyettes karnagynak nevezték ki. Ettől kezdve főállású karmesterként a rádióban dirigált és nyári koncerteken lépett fel, a világ csak 1931-ben ismerte meg nevét, amikor Arturo Toscanini megbetegedett, s az összehasonlítástól félve csak Ormándy vállalta helyettesítését. Nem vallott kudarcot, s a turné másodkarnagya lett „a Maestro” oldalán.
Még 1931-ben a középszerű Minneapolisi Szimfonikusokhoz hívták meg, s az együttest néhány év alatt az amerikai zenekarok élvonalába emelte. Számos igényes hangfelvételt készített velük, köztük Kodály Háry János szvitjét, Schönberg Megdicsőült éj című vonósművét, Bruckner és Mahler szimfóniáit vezényelte. 1936-ban Leopold Stokowski hívására Philadelphiába ment a helyi zenekar karmesterének, majd Stokowski távozása után őt nevezték ki főzeneigazgatónak. A posztot több évtizeden át, egészen 1980-as nyugalomba vonulásáig töltötte be (utóda az olasz Riccardo Muti lett). Túl a nyolcvanon is többször dirigálta a zenekart, utoljára 1984. január 10-én a Carnegie Hallban állt velük a pulpitusra. A zenekarral számos lemezfelvételt készített, közülük három aranylemez lett, kettőt Grammy-díjjal tüntettek ki. Kedvenc műveit, így Brahms, Strauss és Rachmaninov romantikus kompozícióit több alkalommal is lemezre rögzítette.
Ormándy művészetének legfőbb ismertetőjele a rendkívül csiszolt hangzás, a vonósok bársonyosan telt hangja, ő teremtette meg az erőteljes hangszíneken és a tökéletes vonósjátékon alapuló modern zenekari hangzásideált. 1948-ban ő vezényelte az első amerikai televíziós hangversenyt, s 1973-ban a Philadelphiai Zenekarral első amerikai zenekarként koncertezett a Kínai Népköztársaságban. Az együttessel rendszeresen turnézott Európában – erre a II. világháború befejeződésével feleslegessé vált bombázógépek teremtettek lehetőséget.
Vendég karmesterként a világ szinte minden jelentős hangversenypódiumán fellépett. Klasszikus és modern művek előadásában egyaránt kiváló volt, megesett, hogy Bruno Walter helyébe beugorva emlékezetből dirigált. 1941-ben ő vezényelte Rachmaninov Szimfonikus táncok című, utolsó befejezett művének premierjét, Webern Nyári szélben (1962) című alkotását, Sosztakovics több szimfóniájának amerikai bemutatóját is.
Rendszeresen műsorára tűzte a magyar zeneművészet értékeit, Bartók és Kodály műveit, 1946-ban ő dirigálta Philadelphiában Bartók 3. zongoraversenyének ősbemutatóját, amelyen a szólista Sándor György, Bartók tanítványa volt. Budapesten utoljára 1936-ban lépett fel, Budavár visszafoglalásának 250. évfordulóján Liszt, Erkel, Hubay, Dohnányi, Bartók és Kodály műveit vezényelte a Budapesti Hangversenyzenekar élén. A háború előtt és alatt származása, később amerikai állampolgársága miatt nem hívták szülőhazájába, 1967-ben, Kodály 85. születésnapjára budapesti koncertet tervezett, de a komponista már nem érte meg azt.
A karmester 1970-ben Richard Nixon elnöktől megkapta a polgári személyeknek adható legmagasabb amerikai kitüntetést, az Elnöki Szabadság Érdemrendet, 1976-ban II. Erzsébet királynőtől a Brit Birodalom tiszteletbeli lovagja címet. 1977-ben az Amerikai Filozófiai Társaság tagjává választották, 1982-ben a Kennedy Központ díjával ismerték el, és beiktatták a Gramophone Hírességek Csarnokába is.
Ormándy Jenő 1985. március 12-én, életének 86. évében halt meg Philadelphiában tüdőgyulladás következtében.
