Német iparos- és kereskedőcsalád sarja volt, apja bőrkereskedéssel foglalkozott. Érdeklődését egy német nyelvű folyóiratban megjelent, arab országbeli életképet ábrázoló fametszet keltette fel a mesés Kelet iránt. Maga kezdett törökül, majd perzsául és arabul tanulni, a budapesti egyetem bölcsészkarán Goldziher Ignác és Vámbéry Ármin is tanárai voltak. A Magyar Királyi Keleti Akadémia közvetítésével 1903-ban jutott el Isztambulba, ahol jogot tanult, s belekeveredett a reformok bevezetésére törekvő ifjútörök-mozgalomba. Kémkedés vádjával börtönbe került, a halálbüntetés réme is feje fölött lebegett, de az osztrák konzul közbenjárására kiszabadult, sőt kártérítést is kapott.
Törökország után a bécsi és lipcsei egyetemen folytatta tanulmányait. Arab–török nyelvészetből és irodalomból, valamint ókori történelemből 1907-ben doktorált, 1908–1911 között a British Museum keleti osztályán ösztöndíjasként kutathatott, 1912-től török és arab nyelvet tanított Budapesten, a Keleti Akadémián. Az első világháború kitörése után a miniszterelnökség sajtóosztályán a külföldről érkezett sajtótermékek ellenőrzése volt a feladata, és többször járt az Osztrák–Magyar Monarchiával szövetséges Törökországban. A gallipoli csatában, amikor a brit–francia csapatok sikertelenül kísérelték meg a partraszállást a Dardanelláknál, megsebesült és fogságba esett, de szabadon engedték. Ekkor ismerkedett meg a török csapatokat irányító Musztafa Kemal pasával, aki később a Török Köztársaság első elnöke lett, és Atatürk, azaz a törökök atyja néven vonult be a történelembe.
Germanust 1918-ban kinevezték a Keleti Akadémia rendes tanárává, s feleségül vette az írónő Hajnóczy Rózsát. Török, perzsa és arab nyelvvel foglalkozó, valamint iszlám művelődéstörténeti előadásokat tartott, török nyelvkönyvet írt. 1928-ban a balatonfüredi gyógykezelésen tartózkodó Nobel-díjas indiai költő, Rabindranáth Tagore őt kérte fel, hogy az általa a nyugat-bengáliai Szantiniketánban alapított egyetemen szervezze meg az iszlámmal foglalkozó tanszéket. Germanus feleségével három évet töltött a mai Bangladesben, kutatásairól könyvekben számolt be. Itt tért át az iszlám hitre, s felvette az Abdul Kerim, azaz a Kegyes Isten szolgája nevet.
A világhírű kairói Azhar mecsetiskolában töltött néhány hónap után 1935-ben egyik első európaiként végezte el a mekkai zarándoklatot, elnyerve a hádzsi címet, majd felkereste Mohamed próféta medinai sírját. Kalandokban bővelkedő utazását, amelynek során titokban fényképeket is készített és iratokat, dokumentumokat írt le, 1936-ban megjelent Allah Akbar című könyvében örökítette meg. 1939-ben matrózként bejárta Libanont és Egyiptomot, majd ismét elzarándokolt Mekkába és Medinába. Első európaiként hatolt át karavánnal a Dsadak- és a Ghureir-vádin a szaúd-arábiai Rijád felé, az emberpróbáló utat épphogy túlélte.
A második világháború kitörése az arab világban érte, Egyiptomban gyanús neve miatt kémkedés gyanújával rövid időre le is tartóztatták. Kalandos útja során elvégezte második zarándoklatát, de a világégés miatt haza kellett térnie. Teleki Pál miniszterelnök 1941-es öngyilkossága után Germanust bízták meg a Keleti Intézet igazgatói teendőivel. A második világháború végén, 1944 júliusában felesége öngyilkos lett, mert nem tudta elviselni, hogy férjének felmenői miatt muzulmán vallása ellenére ki kellett tűznie a sárga csillagot, Budapest ostroma idején lakásuk találatot kapott.
A háború után Germanus folytatta oktatómunkáját, jelentős érdemeket szerzett a magyar lótenyésztés újjászervezésében is, amiért ki is tüntették. 1949 novemberétől a Pázmány Péter Tudományegyetem (a mai ELTE) bölcsészkarán tanított, 1958-ban ő lett az akkor alakuló Arab Irodalmi és Művelődéstörténeti Tanszék vezetője. A Kádár-korszak idején, 1958 és 1966 között – bár nem volt párttag – az egyetem képviseletében tagja lett az Országgyűlésnek, az egyetemről 1964-ben, nyolcvanéves korában vonult nyugdíjba.
Germanus még hetvenes éveiben is sokat utazott második feleségével, egykori tanítványával, a muzulmán hitre ugyancsak áttért Kajári Katóval. Eleget tett az alexandriai, a kairói, a damaszkuszi, az indiai egyetemek meghívásainak, 1965-ben harmadszor is elzarándokolt Mekkába. Ezekről az utazásokról ad összefoglalót az 1966-ban kiadott Kelet fényei felé című kötetében.
Tudományos munkásságát világszerte ismerik és elismerik, sok tudóstársaság fogadta tagjává. Személyes ismerősének tudhatta Fejszál szaúdi királyt, Gandhit, Nehrut, Nasszert és Arábiai Lawrence-t. A törökön és arabon kívül kiválóan beszélt perzsául, azeriül, németül, olaszul, franciául, spanyolul, jártas volt a szláv és a skandináv nyelvekben is. Sosem jutott eszébe, hogy elhagyja Magyarországot, büszke volt magyarságára: hosszú külföldi útjain az egész testet elfedő iszlám öltözék alatt mindig testére csavarva viselte a magyar lobogót.
A szó szoros értelmében haláláig dolgozott. Egy nappal kilencvenötödik születésnapja után, 1979. november 7-én halt meg Budapesten. A Farkasréti temetőben helyezték végső nyugalomra muzulmán temetési szertartás szerint. Teljes tudományos hagyatéka Érden, a Magyar Földrajzi Múzeumban látható.
