Székesfehérváron született osztrák származású családban, apja jómódú kereskedő volt. Rajztehetsége korán kiderült, így a bécsi politechnikumba küldték tanulni. 1832-től Pesten Pollack Mihály klasszicista építész irodájában dolgozott, majd 1836-tól a bécsi építész, Heinrich Koch alkalmazta – építésvezetőként közreműködött a prágai Kinsky-palota átépítésében is. 1840-ben beiratkozott a müncheni Királyi Képzőművészeti Akadémiára, majd külföldi tanulmányutat tett, főleg észak-itáliai városokban. Hazatérve felvételét kérte a Pesti Építő Céhbe, de ajánlólevelei ellenére elutasították, mivel még nem készítette el mestermunkáját. Önálló építőmesteri jog híján mestere, Pollack Mihály Ágoston nevű fiával társult. Építészeti Intézetük a pesti belvárosban, a Dorottya utca 16. szám alatti Vogl-házban működött. Együttműködésük eredménye az ikervári Batthyány-kastély átépítése volt.
1843 elején felvették a „kőmíves” mesterek közé, miután sikerrel letette az építőmesteri vizsgát. Közben több megrendelést kapott a Károlyi családtól, megtervezte a kaplonyi templomot, a família kaplonyi sírboltját és radványi kastélyát, illetve nagykárolyi kastélyuk és az ottani Arany Szarvas Szálloda tánctermeit is. 1845-ben Károlyi gróf felkérte a családi temetkezőhelyül is szolgáló fóti templom megtervezésére, amely a magyar romantikus építészet (a félköríves romantika) kimagasló darabja lett.
Ybl pártfogói támogatásával 1846-ban újabb itáliai körutat tett, már Rómát és Nápolyt is felkereste. Hazatérése után 1847-től hivatalosan is a Károlyiak uradalmi építésze volt egészen 1861-ig. Fóton 1851-ben feleségül vette a grazi születésű Lafite Idát, a Károlyi család nevelőnőjét – a házasságból több mint tíz év után egy fiúgyermek, Félix született.
Ybl első pesti alkotása a „fakockás átjáróház”, vagyis a szintén romantikus stílusú Unger-ház (1852–53) a mai Múzeum körúton. Miután tagja lett az építészek céhének, a neoreneszánsz irányzat felé fordult. 1862-ben a Magyar Tudományos Akadémia épületének kivitelezésén dolgozott, és megtervezte az MTA bérházát. 1865 szeptemberétől néhány hónap alatt felépítette a mai Bródy Sándor utca 8. alatti Képviselőházat (a Budapesti Olasz Kultúrintézet jelenlegi épületét), amiért Ferenc József-renddel tüntették ki. E korszakából további jelentős alkotása a 2. világháborúnak áldozatul esett pesti Nemzeti Lovarda, a Budai Takarékpénztár a mai Clark Ádám téren (a helyén ma szálloda áll) és a Széchenyiek nagycenki temploma.
Legjelentősebb neoreneszánsz alkotásai 1870-től készültek: a Fővámház épülete (mai Budapesti Corvinus Egyetem), a Várkert Bazár (2014-re felújított) és a Várkert-kioszk (mai Ybl Budai Kreatív Ház), a parádsasvári és a parádfürdői Károlyi-kastély, valamint a parádfürdői Cifra istálló. A fóti mellett megtervezte a fővárosi Bakáts téren álló ferencvárosi plébániatemplomot, majd Hild József halála után, 1867-ben felkérték a Szent István-bazilika továbbépítésére is. Ybl jelezte fenntartásait a kupola elkészült tartópilléreivel kapcsolatosan, és mielőtt nekilátott volna az átalakításnak, a kupola 1868 januárjában össze is omlott. A hibás részek elbontása miatt az építkezés csak 1875-ben folytatódott Ybl tervei szerint, aki Hild klasszicista elképzelésével szemben neoreneszánsz bazilikát tervezett, megvalósítása azonban csak halála után Kauser József irányításával folytatódott.
A budapesti Operaház 1873-ban meghirdetett nemzetközi tervpályázatára hat építészt hívtak meg, és a kiírás fontos kitétele volt, hogy csak magyar mesterek dolgozhattak az épületen hazai alapanyagok felhasználásával. A nyertes Ybl ezt öt kivétellel teljesítette: a márványburkolatok Carrarából, a gránitoszlopok Ausztriából, a faburkolatok Olaszországból, a színpadtechnika Bécsből, a csillár Mainzból érkezett. Az építési engedélyt 1875-ben adták ki, de Yblnek az eredeti tervét át kellett dolgoznia, mert a császár Pestre kisebb operaházat kívánt a bécsinél. Az elhúzódó építési munkálatok után az Operaház megnyitó előadására 1884. szeptember 27-én került sor. A neoreneszánsz épület nemcsak impozáns megjelenése, hanem gazdagon díszített belső terei alapján is a kor kiemelkedő alkotása lett, és napjainkban is a főváros egyik legjelentősebb műemléke. Az Operaház 2017–2022 között teljes körű felújításon esett át.
Ybl Miklóst 1866-ban rendes tagjává választotta a bécsi Képzőművészeti Akadémia és az Osztrák Mérnök- és Építész-Egylet, egy év múlva alelnöke lett az új Magyar Mérnök Egyesületnek, a későbbi Magyar Mérnök- és Építész-Egyletnek, tagja volt a fővárosi törvényhatósági bizottságnak és 1885-től a főrendiháznak is.
1891. január 22-én bekövetkezett halálával félbemaradt a budavári királyi palota bővítése, ezt tanítványa, Hauszmann Alajos vette át. A tekintélyes építészt népes tömeg kísérte utolsó útjára a Kerepesi temetőbe. Öt év múlva a Várkert Bazár előtt (a mai Ybl Miklós téren) felállították bronzszobrát, síremlékén Strobl Alajos őt ábrázoló domborműve látható. Szobra áll szülővárosában, Székesfehérváron, valamint Verőcén, arra emlékezve, hogy ő tervezte azt a dunai támfalrendszert, amely napjainkban is védelmet nyújt a folyóparti településeknek árvizek idején.
Nevét viseli az 1953-ban alapított legrangosabb magyar építészeti kitüntetés, számtalan közterület, oktatási intézmény, többek között az Óbudai Egyetem Építéstudományi Kara. 2002-ben a magyar csillagászok által felfedezett 166886 jelű kisbolygót róla nevezték el. Születésének kétszázadik évfordulója alkalmából 2014-ben emlékévet tartottak, ennek keretében jelentették meg a munkásságát 52 település több mint száz épületén keresztül bemutató kiadványt. A Magyar Állami Operaház idén az Aranykor – Ybl210 elnevezésű koncertjén emlékezett meg a magyar építészlegendáról.
