A Gellérthegy lába már évszázadok óta híres volt gyógyvizéről, amely "a francia betegségre és más hétféle bajra használatos. E fürdő használatának szabálya az, amikor a test egészen vörös lesz, ki kell menni belőle és magát melegen tartani." E sorokat az 1600-as években rótta le a törökök híres utazója, Evlia Cselebi.
A vándor Ácsik Ilidzsának, vagyis nyitott sárfürdőnek nevezte el a helyet, amelyről az első feljegyzések 1178-ban születtek. Akkoriban a johanniták ispotályt nyitottak a magyarok által Bő vízként emlegetett forrásoknál, s később a keresztes háborúból hazafelé tartó francia lovagok is megénekelték a vizek különlegességét.
Buda várának visszafoglalása után, 1687-ben I. Lipót a romba dőlt fürdőt udvari orvosának, Ilmer Frigyesnek ajándékozta, aki ismét felépítette, s utalással egy törökkori legendára, Szüzek fürdőjének nevezte el. Az első nagyobb méretű, a víz iszaptartalma miatt Sárosfürdőnek nevezett szálloda és fürdő 1832-ben épült fel, ebben már 21 lakószoba, 12 fürdő és vendéglő várta a vendégeket.
1901-ben a főváros megvásárolta a Magyar Királyi Államkincstártól a Sárosfürdőt a hozzá tartozó területtel együtt, komoly gyógyfürdőt és gyógyszállót terveztek építeni. A terveket 1909-ben készítette el Hegedűs Ármin, Sebestyén Artúr és Sterk Izidor. A kései szecessziós stílusú épület 1912-1918 között épült fel, és a háborús időkkel dacolva 1918. szeptember 26-án megnyitotta kapuit. 3500 vendég fogadására tervezték, s még egy 30 ágyas kórház is működött a szálló falain belül.
A két háború közötti időszak a szálló fénykorának számított, az éttermet 1927-től Gundel Károly vezette. A Budapestre látogató hírességek is kedvelték a Gellértet, itt töltötte mézesheteit Julianna holland királynő is. 1927-ben 60 szobával bővítették a szállodai részt, és megnyitották hullámfürdőt.
A második világháború a szállodát sem kímélte, lebombázták, csupán a falai maradtak meg. Alig másfél év alatt azonban újjáépítették, s 1946. március 26-án 50 szobával nyílt meg. A Duna-parti szárny viszont csak 1961-ben épült újjá, később elkészült a pezsgőfürdő is, az épület lassan teljesen visszanyerte eredeti képét. A pótolhatatlan eredeti belső díszítés, a Zsolnay-majolikákkal, és az iparművészeti alkotásokkal ugyan elveszett, de a kilencvenes években újabb remekművek kerültek a négycsillagos szállóba.