Johann Gundel néven egy pékmester fiaként született a bajorországi Ansbachban. Apja halála után édesanyja nem győzte taníttatásának terheit, és 13 éves korában harminc forinttal a zsebében Pestre küldte, hogy mostohaapja sógorának vendéglőjében dolgozzon. Pikolóként hordta a krigli söröket Az utolsó fillérhez nevű kocsmában, és mivel ügyes volt és szorgalmas, ráadásul öt nyelven beszélt, hamar előrelépett a ranglétrán.
Előbb a Téli Sörház üvegezett verandáján, majd a belvárosi Arany Sas fogadóban alkalmazták. Tizennyolc éves korában már ő volt a főpincér, helyzetét tovább erősítette, amikor 1869-ben elvette a tulajdonos unokahúgát, Kommer Annát. A házasság után önállósította magát, és a Király utcában megnyitotta első vendéglőjét. A Bécsi Sörház – itt játszódik Krúdy Gyula Boldogult úrfikoromban című elbeszélése – bécsi tányérhússal (tafelspitz – puhára főtt marhafartő zöldséggel, levessel, burgonyával és szósszal felszolgálva), bécsi szelettel, szalontüdővel és a melléjük kínált osztrák sörrel csalogatta a közönséget. Két évvel később átvette és felvirágoztatta a József nádor téri Virágbokor vendéglőt, ahol a közeli gabonatőzsde alkuszai kerestek idegességükre enyhülést. Több híresség is idejárt, a festő Lotz Károly egy képet is ajándékozott neki, amelyet a különteremben függesztettek ki.
Gundel a szakma legnagyobb meglepetésére alig 35 évesen visszavonult, és belevetette magát a közéletbe. A Szállodások és Vendéglősök Ipartársulatának elnökeként, Budapest székesfőváros törvényhatóságának tagjaként komoly erőfeszítéseket tett a szakoktatás megszervezéséért, 1885-ben megkapta a Ferenc József-rend lovagkeresztjét.
A vendéglátáshoz csinos vagyon birtokában, öt gyermek apjaként tért vissza, amikor kibérelte az István Főherceg szállodát az Akadémia és a Vigyázó Ferenc utca sarkán. A szállodát 1904-ig működtette, 2016-ban az épület Akadémia utcai falán emléktáblát avattak tiszteletére.
A konyhájáról méltán híres szálloda az ő vezetése alatt élte virágkorát, itt találkoztak a szomszédos Akadémia tagjai, és a Kisfaludy Társaság is itt rendezte bankettjeit. Gundelnél vacsorázott Tisza Kálmán, Jókai Mór, báró Kemény János, akik szerették ezt a „disztingvált, csendes, lakályos fészket”. Egyik legkedvesebb vendégének, Mikszáth Kálmánnak külön lakosztályt rendezett be, és mindenben igyekezett az író kedvében járni. Még egy ételsort is kreált a tiszteletére: Mikszáth művei ihlették a lohinai füves halat, a tót atyafiak haluskáját, illetve a brézói ludakat Mikszáth módjára. Amikor Mikszáth megemlítette, hogy olyan levest enne, amely „magában foglalja a magyar konyha minden zamatát”, Gundel a „nagy palóc” tiszteletére megalkotta a ma is kedvelt palóclevest, amelyhez hagymát, paprikát, ürühúst, zöldségeket, krumplit, zöldbabot és tejfölt használt. A Mikszáth-szoba ünnepélyes megnyitásán, 1894-ben már ott szerepelt az étlapon a „palóczleves”, amely 1935-ben, a vendéglősöknek megrendezett vacsoraversenyen a fia, Gundel Károly által feltálalt fogásként indult el gasztronómiai hódítóútjára. A szakmát továbbvivő Gundel fiúnak vendéglátós vér csörgedezett az ereiben, de apjával ellentétben főzőkanalat sosem vett a kezébe, fejben komponálta meg az ízek harmóniáját. 1910-ben ő vette meg és nevezte el Gundelnek a városligeti Wampetics vendéglőt.
Az idősebb Gundel 1904-ben ismét visszavonult, idejét és energiáját a szakmai szerveződés és képzés előmozdításának szentelte. Számtalan tisztséget viselt, egyebek közt az Állandó Borvizsgáló Szakértőbizottság tagja, az Országos Vendéglős Szövetség díszelnöke, a Budapesti Kávés Ipartársulat tagja, az evangélikus egyház presbitere, a Lipótvárosi Takarékpénztár tagja, emellett negyven évig a Régi Hívek szabadkőműves páholy tagja volt. Nevéhez fűződik a vendéglátós szakma képesítéshez kötése és a nemzetközi kapcsolatfelvétel. 1886-ban ösztöndíjat alapított a legjobb étlapot író borfiú támogatására.
Vendéglős körökben közmondásos volt tudása és pontossága. Személyesen ellenőrizte a menükönyvet, az adagokat, az ételek összeállítását, még a moslékosdézsa tartalma sem kerülte el a figyelmét. Több ételt is alkotott, a pesti étkezésben ő terjesztette el a bécsi szeletet. Elsőként enyhítette a korábban barbárnak, túlfűszerezettnek tartott magyar konyhát a nemzetközi konyha szelídebb, pikáns ízeivel. Számos szakcikket írt magyarul és németül. Szabadidejében esztergált, elefántcsont tárgyakat készített és budafoki kertjében dolgozgatott.
Amikor az első világháború idején Károly fia a frontra ment, hetvenévesen ő intézte helyette a beszerzéseket. Egy évvel később, 1915. december 28-án halt meg Budapesten. Az általa megalapozott új gasztronómiai kultúrát fia vitte tovább, akinek neve már életében fogalommá vált. A Gundel-örökséget, amellyel a későbbi utódok is jól sáfárkodtak, 2014-ben hungarikummá nyilvánították.
