1830. május 18-án született Keszthelyen. Családja idővel Sopronkeresztúrra költözött, ahol húsz gyermeket nevelő apja a helyi izraelita hitközség kántora, majd jegyzője lett, elszigeteltségüket növelte, hogy magyar környezetben voltak német anyanyelvűek. Károly nagy nyomorban nőtt fel, még elemibe sem járt, de a zenében tehetségesnek bizonyult. Tizennégy évesen látott először zongorát, ekkeor kezdett hegedűórákra járni, ehhez télen-nyáron napi négy órát gyalogolt Sopronba. Itt adta első nyilvános koncertjét, s a városban látott először színházi előadást is.
Tizenhét évesen került a bécsi konzervatóriumba, de életében csak annyi változott, hogy most már a császárvárosban koplalt: előfordult, hogy eszméletlenül találták az utcán, és csak a kórházban derült ki, hogy napok óta nem evett. Tanulmányait félbe kellett szakítania, volt színházi zenész és zenetanító, miközben autodidaktaként képezte magát, miközben rendületlenül komponált.
Anyagi helyzete idővel javulni kezdett, 1857-ben Bécsben, majd két évvel később Pesten is szerzői hangversenyt adhatott. 1865-ben bemutatták Sakuntala nyitányát, amelyet a legnagyobb szanszkrit nyelvű költő, Kalidásza egyik költeménye ihletett, s ez meghozta számára az oly áhított sikert.
Élete 1875. március 10-én változott meg végképp, amikor a bécsi Operaház Liszt Ferenc közbenjárására bemutatta Sába királynője című operáját. Goldmark több évig dolgozott művén, és majdnem ugyanennyi ideig harcolt azért, hogy az színre kerülhessen. A párját ritkítóan hatalmas siker (a szerzőt negyvenszer tapsolta vissza a tomboló közönség) mindenért kárpótolta, feledtette a fiatal évek nyomorát, megpróbáltatásait. Goldmark másnap európai hírű zeneszerzőként ébredt, művét egy évtizeden belül Európa szinte minden nagy operaháza műsorra tűzte, s Amerikában is bemutatták.
Goldmark anyagi gondjai megszűntek, villát vett Gmundenben, ahonnan csak műveinek előadására mozdult ki. 1876-ban született legnépszerűbb szimfóniája, a Falusi lakodalom, a következő évben Hegedűversenye, emellett számos kiváló kamaradarabot, dalt és kórusművet is komponált. Bár a Sába királynője sikerét nem tudta megismételni, tovább alkotott az opera műfajában: a Merlin Artúr király legendáján alapul, A hadifogoly a trójai háború egy rövid epizódját dolgozza fel, a Téli rege Shakespeare színműve nyomán íródott. A házi tücsök címmel meseoperát is szerzett, Goethe azonos című drámája nyomán készült a Götz von Berlichingen.
Budapesten szinte minden operája az ő dirigálása mellett került színre. Magyar tárgyú operát is szándékozott írni: hozzákezdett Kisfaludy Károly Pártütők című vígjátékának megzenésítéséhez, foglalkoztatta Rátkay László és Dóczy Lajos egy-egy darabjának feldolgozása is, ezek azonban nem valósultak meg. Verbunkos és magyaros motívumok ugyanakkor több zeneművében is megfigyelhetők, és már Brahms előtt írt zongorára magyar táncokat.
Goldmark nyolcvanadik születésnapját külföldön és Magyarországon is nagy pompával ünnepelték meg, díszelőadásokat rendeztek alkotásaiból, a budapesti tudományegyetem díszdoktorává fogadta. Szellemi erejének bizonyítéka, hogy 84 évesen komponált zongoraötösének partitúráját egy vonatúton elvesztette, de emlékezetből újra le tudta írni a darabot.
Goldmark Károly 1915. január 2-án halt meg Bécsben. Nem alapított irányzatot, nem volt merész újító, sem virtuóz előadó, de ő volt az első világsikert arató magyar opera, a Sába királynője zeneszerzője, a 19–20. század fordulóján az Osztrák–Magyar Monarchia talán legnépszerűbb komponistája.
Életműve halála után hamar feledésbe merült, a harmincas-negyvenes években származása, később zenéjének idegenszerűsége miatt mellőzték szerzeményeit. Ahogy ő írta: „minthogy vezetni nem tudtam, másokkal menni pedig nem akartam, egyedül maradtam”. Operáiban Wagner, kamarazenéjében Brahms, szimfonikus alkotásaiban a liszti programzene befolyása mutatható ki, ám e hatásokat teljesen egyéni stílusvilággá integrálta.
2015-ben, Goldmark halálának centenáriumán az opera Káel Csaba rendezésében került színre előbb a Margitszigeti Szabadtéri Színpadon, majd a Magyar Állami Operaházban. Azelőtt Budapesten csak 1976-ban volt látható, majd negyedszázados szünet után, 2000-ben adták elő ismét: a Zsidó Nyári Fesztivál programsorozata keretében, koncertszerű előadáson csendült fel a Dohány utcai Zsinagógában a komponista születésének 170. évfordulója alkalmából.
Keszthelyi szülőházának falán emlékét tábla őrzi, s a városi művelődési központ az ő nevét viseli, Budapesten a XII. kerületben neveztek el róla utcát. A Sába királynője című operáját teljes egészében először 1980-ban, Fischer Ádám vezényletével rögzítették lemezre.
