A család ősei a 18. században Hamburgból jöttek Magyarországra, Goldziher apja Székesfehérváron volt kereskedő. Fia, aki már ötévesen könyveket olvasott, középiskolai tanulmányait magántanulóként a székesfehérvári cisztercitáknál kezdte, majd a budapesti református gimnáziumban érettségizett. Vámbéry Ármin és Ballagi Mór támogatásával már tizenhat évesen törököt és fárszi nyelvet tanult a budapesti egyetem bölcsészkarán, az arabot szinte autodidaktaként sajátította el, később oroszul és szanszkrit nyelven is megtanult.
Egyetemi tanulmányait Budapesten, majd állami ösztöndíjjal Berlinben és Lipcsében végezte, ezután Leidenben és Bécsben tanulmányozott keleti kéziratokat. Huszonhárom évesen állami ösztöndíjjal Szíriában, Palesztinában és Egyiptomban folytatott kutatásokat, néhány hónapig az iszlám egyik legfontosabb tudományos központjának számító kairói al-Azhar mecsetben is tanult. Fiatal kora dacára már ekkor a legnagyobb tudományos tekintélyek között emlegették, az egész világ orientalistái ismerték a nevét, de idehaza zsidó származása miatt nem kapta meg az egyetemi katedrát. A világhírű tudós kénytelen volt hivatalnokként dolgozni, 1876-től harminc éven át a budapesti izraelita hitközségnél volt titkár. Elsősorban az iskolaügyek terén tevékenykedett, az Országos Rabbiképző Intézetnek 1900-ban lett óraadó tanára.
Goldziher tanulmányozta az arab és a héber kultúrát, az iszlám társadalomtörténetet és vallásfilozófiát, kiválóan ismerte a Bibliát, a Koránt, a középkori zsidó irodalmat, a görög bölcseletet. Fő kutatási területe a sémi filológia és irodalomtörténet, valamint a mohamedán vallás története volt. Munkássága az iszlám kultúrtörténet csaknem minden területére kiterjedt. Elsőként vizsgálta e világvallás kialakulását történeti fejlődésében, őt tekinthetjük a modern kritikai iszlámkutatás egyik megalapozójának. Ő végezte el a Nemzeti Múzeum Gyűjteményében levő keleti – héber, török, arab, perzsa – nyelvű kéziratok meghatározását és rendezését. Több évtizedes tudományos munkássága könyvtárnyi terjedelmű, életművének 1927. évi bibliográfiai összegzése 580 kötetet és tanulmányt sorol fel. Megírta többek között a Sía irodalom történetét (1877), 1884-ben jelent meg A mohamedán jogtudomány eredetéről című kötete, 1899-ben adták ki Leidenben, német nyelven korszakosnak számító Az iszlám című munkáját.
Csak huszonegy éves volt, amikor 1871-ben levelező tagjává választotta a Magyar Tudományos Akadémia, 1892-ben lett a tudományos testület rendes tagja, 1910-ben a nyelv- és irodalomtörténeti osztály elnöke, e tisztségről 1919-ben az ellene irányuló antiszemita támadások miatt lemondott. Az orientalisták 1889-es stockholmi nagygyűlésén nagy aranyéremmel tüntették ki, 1894-ben lett a Budapesti Tudományegyetem sémi filológiai tanszékének rendes tanára. Tiszteletbeli tagja volt a berlini, göttingeni, szentpétervári, amszterdami, koppenhágai akadémiának, számos egyetem avatta díszdoktorrá. A külföldi oktatási intézmények által neki felkínált katedrákat mindig szerényen elhárította, mert a Budapesti Tudományegyetemen szeretett volna tanítani. Naplóját, amelyet 1890-től kezdve 1919-ig németül vezetett, 1985-ben adták ki először magyar nyelven, s csaknem száz évet kellett várni, míg 2008-ban újra megjelenhetett Előadások az iszlámról című könyve magyarul.
Goldziher Ignác 1921. november 14-én halt meg Budapesten. Székesfehérváron a róla elnevezett utcában álló szülőházán emléktáblát helyeztek el.
