Óbuda fekvése miatt - a Duna és később Buda városának közelsége - már az ókortól fogva vonzotta a letelepedni vágyókat. Kis túlzással: itt bárhol leásunk pár métert a mélybe, valamilyen jelentős ókori vagy középkori épület maradványaira bukkanunk.
Így van ez a Zichy-kastéllyal is, amelyet nagyrészt egy közelben álló gótikus templom alapjaira építettek. Az építőanyag rendkívül értékes volt, az Árpád-kori Szent Péter templom a római város, Aquincum maradványait használta fel, s mivel ezt a templomot a tatár feldúlta, belőle emeltette a lengyel Piast Erzsébet, Károly Róbert felesége, Nagy Lajos édesanyja a késő gótikus Szűz Mária székesegyházat. Ezt a templomot a törökök gyújtották fel, köveit pedig több építkezésen is felhasználták, többek között Kalocsára (!) is került a barokk székesegyház 1700-as évekbeli építkezésére.
Maga a Zichy-kastély is a Bercsényi család itt álló, földszintes villájának átépítéséből született. Óbuda 1659-ben került a Zichy család birtokába, és a kor szokásainak megfelelően a zsámbéki székhelyük mellett 'illett' egy reprezentatív kastélyt is birtokolniuk Budán.
Az építtetők, Zichy Miklós és felesége, Bercsényi Erzsébet 80.000 forintot áldoztak óbudai rezidenciájuk megvalósítására.
A késő barokk-rokokó kastély tervezői és kivitelezői Jäger János Henrik kőfaragó mester és a leginkább szobrászként ismert Bepó Károly voltak, utóbbinak alkotásai díszítették a franciakertet is. A szokványos puttók mellett táncoló parasztalakokat is készített, ez rendkívül merész témaválasztás volt ebben a korban.
A kastély földszintjét a hatalmas bálterem foglalta el, az emeleten pedig a hálószobák sorakoztak. Később kápolna is kapcsolódott az épülethez, hogy a táncestek után másnap könnyen el lehessen jutni Isten színe elé.
A falak a kor divatjának megfelelően festettek voltak, elsősorban virág- és növénymintákkal. A már korábban említett franciakert mellett a kor státuszszimbóluma, az Orangerie - Üvegház is megépült egzotikus növényekkel, gyümölcsökkel. Jelenleg éppen ennek a helyén üzemel a Kobuci kert.
A Zichyek ismert művészetkedvelő és -pártoló család voltak, Miklós színdarabokat is írt, korabeli források utalnak arra, hogy maga is fellépett néhány előadáson.
A kastély egyik különlegességét a pénzhiány okozta: az elengedhetetlen fényűző bejárat hiányzik. Erre már nem futotta az építtetőnek, aki korai halála miatt nem is sokáig élvezhette óbudai kastélyát.
Gyermeke nem született a párnak, így a törvény szerint a koronára szállt a birtok. Az özvegy azonban nem akart ebbe belenyugodni, 10 évig pereskedett a kastély birtoklásáért, végül 1766-ban évi járandóság fejében el kellett hagynia. Előtte azonban teljesen kiüríttette, minden mozdíthatót magával vitt, így sajnos a berendezési tárgyakról semmilyen információ nem maradt az utókorra.
Miután az özvegy végleg elhagyta az épületet, a kastély a kincstár tulajdonába került, a külső-és oldalsó szárnyakat lebontották, a parkja is enyészetnek indult. A melléképületekbe először a kamarai prefektus irodája került, majd katonaságot költöztettek az üresen álló szárnyakba.
A melléképületekre idővel emeletet húztak a földszintitől eltérő stílusban. A gondos gazda hiánya miatt állaga egyre romlott, így már csak raktározásra volt alkalmas. Először katonai, majd később ruha- és dohányraktárként szolgált, egykori szépsége már csak nyomokban fellelhető, ráadásul 1954-ben a HÉV vágányok telepítése miatt egyik melléképületét le is bontották. Jelenleg a barokk kastély szépsége csupán a főépület homlokzatán és belső lépcsőfordulójának faragott díszköveiben köszön vissza.
Az épületegyüttesben a Kassák Múzeum, az Óbudai Múzeum és a frissen felújított, kitűnő állapotban lévő Vasarely Múzeum kapott helyet, legújabban pedig a Hello Wood nevű kreatív projekt lelt itt új otthonra, létrehozva Magyarország első közösségi faműhelyét.
