Mivel egykoron itt haladt át az észak-déli kereskedelmi és hadiút is, a hegyoldalak védelmet nyújtottak és közel volt a Duna is, a területet ősidők óta lakták. A Tabán elnevezés a török Debágháné (Tímár-telep) magyaros alakja, a terület ugyanis a török hódoltság idején is virágzott, ekkor épült a hőforrásokra a Rácfürdő és Rudas-fürdő.
Az elmenekült magyarok helyére szerbek és németek települtek, innen a Rácváros név. A XVIII. században ez volt Buda legsűrűbben lakott része, a macskaköves, sűrűn beépített utcákban engedély és építési terv nélkül felhúzott, igénytelen viskók sorakoztak, de az itteni kiskocsmákba szívesen jártak Pestről is, itt voltak a művészek és szerelmespárok találkahelyei.
A városrészt nem kímélték a katasztrófák: pusztított itt tűzvész, árvíz, és itt volt az 1739-es pestisjárvány fészke is. A Tabán először 1526-ban égett le, 1686-ban Buda ostroma idején itt volt a törökök felrobbantott lőporraktára, a harcok elcsitulta után romokban állt a két török fürdő, a Rácfürdő és Rudas-fürdő, s a Vár várfalainak egy része.
Az újra- és újraépült Tabán történetének legsúlyosabb katasztrófája 1810. szeptember 5-én történt. Schuller János kádármester inasa délben hordódongákat égetett az udvaron, s egy kipattanó szikra meggyújtotta a háztető zsindelyét. A szél belekapott a lángokba, s szinte percek alatt égtek a szomszédos épületek tetőszerkezetei is. A rémült emberek helyzetét nehezítette, hogy a szárazság miatt a kutakban alig volt víz, helyenként a borospincékből előhozott "drága nedűvel" próbálták a tüzet oltani.
Sikertelenül: fél óra múlva már négy helyen égett a Tabán, a lángok a Vízivárost és a Krisztinavárost is fenyegették. Lángokban állt a hajóhíd budai vége is, így a pesti polgárok nem tudtak átjönni segíteni, sőt a lehorgonyzott égő szénáshajók közül is többet el kellett süllyeszteni. A tűzvészt végül éjfél után a hadsereg fékezte meg, házak lerombolásával lokalizálva a tüzet, de még napokkal később is fellobbantak itt-ott a lángok.
Az áldozatok számát ötvenre tették, köztük voltak idősek és gyerekek is. A tűzben majdnem ezer, többségében fából épült ház semmisült meg, az anyagi kárt hatmillió forintra, igen hatalmas összegre becsülték. A károsultak részére országos gyűjtés indult, s városi tanácsot állítottak föl, amely igyekezett szabályozni az építkezéseket. Ennek ellenére a városrész hamarosan ugyanolyan a zsúfolt képet mutatott, mint a katasztrófa előtt.
A Tabán a Lánchíd megépülte után veszített jelentőségéből, az árvizek és a városképi megfontolások miatt egyre többen siettették lebontását. Először a legigénytelenebb házakból álló kelenföldi sor bontották le, majd a Duna-parton megépült a Várkert Bazár és Kioszk. A festői városnegyed nagy részét végül 1932-33-ban bontották le.
