Kilencgyermekes kántortanító családjában látta meg a napvilágot. Ácsnak, majd vasöntőnek tanult, s húszévesen vándorútra indult, német, francia, olasz és osztrák gyárakban szerzett tapasztalatot. Bécsben hallotta, hogy Pesten szakmunkásokat keresnek egy új gőzmalomhoz, s 1841-ben a magyar fővárosba jött. Részt vett a Széchenyi István által kezdeményezett József Hengermalmi Társulat gőzmalmának összeszerelésében, ahol első öntőmester, később a gépészeti részleg vezetője lett. 1843-ban egy üzemi balesetben fél szemére megvakult, a kártérítésből és a cég nyereségéből kapott részesedéséből indította be önálló vállalkozását – a József-hengermalom csak Kossuth személyes közbenjárására engedte el.
Budán, a mai Bem József utcában 1845. január 24-én nyitotta meg „vas és ércöntő intézetét” egy tégelykemencével, két fadaruval és hét segéddel, ma itt van az Öntödei Gyűjtemény. Ganz főleg öntöttvas használati tárgyakat készített, de a Lánchídhoz is szállított öntöttvas elemeket, kereszttartókat és tartóoszlopokat, az 1846-os iparmű-kiállításon öntöttvas kályháival ezüst- és bronzérmet nyert.
A szabadságharc alatt már hatvan munkása volt, ágyúkat és ágyúgolyókat szállított a honvédseregnek. A bukás után a hadbíróság hatheti várfogságra ítélte, de ezt svájci közbenjárásra nem hajtották végre. Ganz 1849. október 24-én feleségül vette Heisz Lőrinc kékesmester és városbíró leányát, s mert gyermekük nem született, két árva rokon lányt fogadtak örökbe.
Öntödéje később lakatos-, mintaasztalos- és kovácsműhelyekkel bővült, „országos gyár” minősítést szerzett. 1863-ban I. Ferenc József uralkodó koronás arany érdemkereszttel tüntette ki, két év múlva pedig személyesen is meglátogatta a gyárat.
Ganz 1853-ban az angol John Burn által feltalált kéregöntést tökéletesítve vasútikocsi-kerekeket kezdett gyártani, a továbbfejlesztett technikát egy év múlva szabadalmaztatta. A kerekeknek a sínnel érintkező, gyorsan kopó részeit antimonos kezeléssel igen keményre edzette, ezzel sokszorosára növelte élettartamukat. A kéregöntésű öntvények készítésére 1855-ben az egész Habsburg Birodalom területére kizárólagos jogot kapott, ami a vasútépítés korában óriási üzlet volt. Termékeit exportálta is, az 1867-es kiegyezésig mintegy százezer vasúti kereket szállított 59 vasúttársaságnak. Gyártott vasúti váltóalkatrészeket, vasúti kereszteződési csúcsbetéteket, gabonaipari őrlőhengereket is.
Ganz gyártmányaival az 1855-ös és 1867-es párizsi és az 1862-es londoni világkiállításon bronzérmet, az 1867-es svájci iparmű-kiállításon ezüstérmet nyert. A vállalatát addig egyedül vezető Ganz 1859-ben Mechwart Andrást tette meg igazgatónak, aki a gyárat európai színvonalúvá fejlesztette, amely számos szabadalommal büszkélkedhetett.
Ganz 1861-től Buda képviselő-testületének tagja volt, 1863-ban a város díszpolgára lett, s bár svájci állampolgárságát megtartotta, mindig magyar ruhában járt. Munkásaiért felelősséget érzett, sokat fordított szociális célokra, üzemében Magyarországon akkor egyedülálló nyugdíjas- és betegpénztárt létesített, svájci szülővárosának segélyegyesületét is rendszeresen támogatta. Amikor a gyárban 1867. november 23-án elkészült a százezredik kéregöntésű vasúti kerék, a jeles alkalomra ezüst emlékérmet veretett minden alkalmazottjának, vacsorát adott nekik és családtagjaiknak, ő pedig egy díszes, minden dolgozója által aláírt üdvözlő okiratot kapott.
A túlfeszített munka, a családi problémák kikezdték idegrendszerét, és 1867. december 15-én, 53 éves korában levetette magát a pesti Duna-parton álló, Ybl Miklós által épített palotájának függőfolyosójáról. Mauzóleuma – amelyet ugyancsak Ybl tervezett – a Kerepesi úti temetőben található.
Halála után az örökösök közvetlen munkatársait: Eichleter Antalt, Keller Ulrikot és Mechwart Andrást bízták meg a gyár vezetésével, amely ekkor vette fel a Ganz és Társa nevet. Az öt részlegből álló, mintegy 370 alkalmazottat foglalkoztató céget a Ganz család eladta, működését 1869 áprilisától részvénytársasággá alakítva, Ganz és Társa Vasöntő és Gépgyár Rt. néven folytatta. A műszaki igazgató Mechwart András lett, s irányításával a Ganz az Osztrák–Magyar Monarchia egyik legjelentősebb vállalatcsoportja lett.
A magyar nehézipar egyik megalapozójának nevét vállalatai mellett utcák, iskolák viselik.
