Kölnben született. Apja sikeres kereskedőként víz- és gázszerelvények árusításából tett szert jelentős vagyonra. Apai nagybátyja, Robert Bosch neves mérnök és feltaláló, a Bosch vállalat megalapítója, a belső égésű motorokhoz használt első megbízhatóan működő nagyfeszültségű gyújtógyertya kifejlesztője volt. Carl fogékonysága a műszaki és természettudományok iránt már fiatalon megmutatkozott, apja cégénél lakatos- és finommechanikai munkákat végzett, de saját kémiai laboratóriumot is berendezett. 1893-ban befejezte a kölni reálgimnáziumot és egy évig a sziléziai Kotzenauban egy lakatos- és öntőmintaüzemben dolgozott tanoncként, hogy kitanulja a kohászatot a gyakorlatban. 1894-től 1896-ig a charlottenburgi Műszaki Főiskolán (ma: Berlini Műszaki Egyetem) hallgatott kohászati és gépészmérnöki ismereteket, majd Johannes Wislicenusnál tanult a Lipcsei Egyetem kémia szakán. 1898-ban szerves kémiából diplomázott.
1899 áprilisában felvették a BASF (Badische Anilin- und Sodafabrik) vegyipari céghez, ahol eleinte a szintetikus indigó gyártási módszerén dolgozott. Később a légköri nitrogén megkötésére alkalmas módszereket kezdett kidolgozni fémcianidok és nitridek felhasználásával. 1907-ben új módszert dolgozott ki a bárium-cianid ipari előállítására.
Az igazán nagyszabású munkára akkor nyílt lehetősége, amikor 1908-ban a BASF megszerezte az ammónia Fritz Haber által kifejlesztett nagynyomású szintézisének eljárását. Haber laboratóriumi körülmények között fémkatalizátorok segítségével nitrogénből és hidrogénből ammóniát állított elő. A cég Boscht bízta meg a reakció ipari körülményekre való adaptálásával. Haber a drága és ritka ozmiumot és uránt használta katalizátorként, Bosch azonban felfedezte, hogy a tiszta vas és bizonyos adalékanyagok is megfelelnek katalizátornak.
Megoldandó probléma volt még a biztonságos nagynyomású kohók építése, az ammónia szintéziséhez szükséges gázok előállításának és tisztításának olcsóbbá tétele. Bosch és munkatársai lépésről lépésre egyre nagyobb gyártóegységeket alkalmaztak, így hozták létre a szintetikus ammónia nagynyomású eljárással történő előállításával foglalkozó iparágat. Kutatásaik során több mint 20 ezer kísérletet végeztek el. A munka jó részét az jelentette, hogy katalizátorokat kerestek a fémek és vegyületeik körében. Kidolgoztak egy magas nyomáson és közepesen magas hőmérsékleten zajló folyamatot. A Haber-Bosch volt az első ipari vegyi eljárás, amely a kémiai reakciókhoz nagy nyomást alkalmazott. A Haber-Bosch reakció alapvető fontosságúvá vált a modern vegyipar számára, amely lehetővé tette a légköri nitrogén felhasználását a különböző vegyületekhez, mint például a műtrágyák ipari előállításához.
A BASF első nitrogéngyára 1911-ben kezdte meg működését Oppauban (ma Ludwigshafen része), előbb ammónium-szulfátot, majd ammónium-nitrátot gyártottak. 1919-ben Boscht nevezték ki a cég ügyvezető igazgatójává.
1921. szeptember 21-én az üzemben súlyos baleset történt, egyike az ipartörténet legsúlyosabb vegyi katasztrófáinak. Az egyik tároló, amelyben ammónium-nitrátot és ammónium-szulfátot is tároltak, felrobbant. A robbanásban legalább 560 ember halt meg, a sebesültek száma meghaladta a kétezret. A robbanás 1-2 kilotonna TNT erejével rázta meg a környéket, a lökéshullám még 25-30 kilométerrel arrébb is ablakokat tört be, a detonáció hangját még a 300 kilométerre lévő Münchenben is hallani lehetett.
1925-ben a német vegyipar legnagyobb cégei, a BASF, a Hoechst, a Bayer és három másik egyesült, létrehozva ezzel a korszak legnagyobb vegyipari vállalatát, az IG Farben vegyipari és gyógyszeripari konszernt, amelynek Bosch lett az első igazgatója, 1935-ben az igazgatótanács elnökévé is megválasztották. 1937-ben ő lett a Vilmos Császár Társaság (a német kutatóintézetek koordináló szerve) elnöke.
Munkásságával a legmagasabb tudományos elismerést is kiérdemelte, 1931-ben a szén cseppfolyósítását felfedező Friedrich Bergius-szal megosztva kémiai Nobel-díjat kaptak a nagynyomású kémiai eljárások kidolgozásáért. Az IG Farbenben folyó munka színvonalát jelzi, hogy kutatói közül 1939-ben még Gerhard Domagk patológus is orvosi Nobel-díjat kapott a Prontosil, az első kereskedelmi forgalomban kapható antibiotikum felfedezéséért.
Boscht számos főiskola és egyetem választotta díszdoktorává. 1924-ben elnyerte a Werner von Siemens Gyűrűt, 1932-ben az osztrák Wilhelm Exner-érmet. 2011-ben (Haberrel együtt) minden idők legbefolyásosabb vegyészmérnökének választotta a nagy-britanniai székhelyű Nemzetközi Vegyészmérnöki Intézet (Institution of Chemical Engineers, IChemE).
1902-ben alapított családot, feleségül vette Else Schilbackot, házasságukból egy fiuk és egy lányuk született. Nagy természettudományos gyűjteményt állított össze rovarokból, ásványokból, drágakövekből. Ásvány- és meteoritgyűjteménye a Yale Egyetemhez, majd a Smithsonian Intézethez került. Amatőr csillagász is volt, később róla nevezték el a 7414 Bosch aszteroidát.
Többször kritizálta a nemzetiszocialistákat, Hitler hatalomra jutása után emiatt egyre kisebb befolyással járó pozíciókba helyezték át. Idős korára mellőzöttsége miatt depressziós lett, az alkoholizmusba menekült. 1940. április 26-án halt meg Heidelbergben, a Bergfriedhof temetőben nyugszik.
