Törvénytelen gyermekként látta meg a napvilágot a ma már Karlsruhéhoz tartozó Mühlburgban egy szolgálólány és egy mozdonyvezető fiaként. Apját kétévesen elvesztette, anyja ezután egyedül nevelte. Szegénységük miatt csak a gépipari politechnikumot tudta elvégezni, a gépgyártási ismeretek mellett mechanikát, hidraulikát és hőtant is tanult. Előbb lakatosként dogozott egy gépgyárban, idővel művezető lett. Első önálló vállalkozását, egy öntödét 1872-ben alapította, később gépalkatrészek készítésével is foglalkozott, de próbálkozásait nem kísérte szerencse.
1871-ben találkozott az akkor 22 éves Bertha Ringerrel, akit a következő évben feleségül vett, a lány hozományát férje vállalkozásába fektette. Benz ekkor már motorok fejlesztésével foglalkozott, kezdetben egy lóerős, kétütemű motorokat épített gázszivattyúkhoz. 1877 és 1879 között kifejlesztette kétütemű motorját, amely a skót Dugald Clerk szabadalmán alapult, de jelentős változtatásokkal: Clerk a benzingőz-levegő keveréket az üzemanyag-szivattyúban hozta létre, Benz viszont külön szivattyút használt a benzingőzhöz és a levegőhöz, a keverék csak a dugattyúban alakult ki. Ekkoriban lendkerekes játékautót és fordulatszám-szabályozót is szabadalmaztatott. Keresztnevének az anyakönyvben szereplő Karl alakját ekkoriban kezdte C betűvel írni, amit haláláig megtartott, önéletrajzát is Carl Friedrich Benz néven adta ki.
Benz 1883-ban kivált részvénytársasággá alakított cégéből, amelyben már csak kisebbségi tulajdonos volt, mert nem értett egyet a többiek elképzeléseivel. Két befektető segítségével még abban az évben megalapította a Benz & Cie. Rheinische Gasmotoren-Fabrik nevű vállalkozását, amely rögzített gázmotorokat gyártott és fejlesztett, és több megoldását, mint az elektromos gyújtás, levédette.
Nagy vágyát 1885-ben sikerült megvalósítania, amikor megszerkesztette önjáró kocsiját, amely a Benz Patent-Motorwagen Nr. 1 nevet kapta. A háromkerekű járművet (a szabadalmi leírás szerint triciklit) elektromos gyújtású, 0,67 lóerős, egyhengeres négyütemű farmotor hajtotta, amelynek üzemanyaga petróleumbenzin (ligroin) volt, végsebessége elérte a 16 kilométert óránként. A járműnek volt hűtője és differenciálműve is, tervezője szíjhajtóműves áttételt és tömör gumiból készített kerekeket alkalmazott, a kocsin akár négy személy is elfért. Benz 1886. január 29-én kapta meg motorkocsijára a 37 435. számú német szabadalmat, ezt a napot szokás az automobil születésnapjának tekinteni. A találmányt kezdetben csak gúny övezte, „lovak nélküli szekérként” emlegették. Benz át is építette a járművet, majd szétszerelte – a rekonstruált változat a müncheni Deutsches Museumban látható.
A kocsi első változatát még nehéz volt kormányozni, nemegyszer neki is ment a falnak. A továbbfejlesztett járművet (Patent-Motorwagen Nummer 3), amelyre Benz 1888-ban megkapta a világ első jogosítványát, a feltaláló 1888. július 3-án vezette először a nyilvánosság előtt a mannheimi Ringstrassén. A korabeli leírás szerint eközben fia egy benzinesüveggel szaladt mellette, hogy pótolja az üzemanyagot. A kocsi első hosszú távú útjára, mellesleg a feltaláló tudta nélkül, augusztus elején indult: felesége két fiukkal hajtott Mannheimből szülővárosába, Pforzheimbe. A 104 kilométeres utat 12 óra alatt tette meg, s menet közben mindent megtett, hogy felhívja a figyelmet az alkalmatosságra. Ligroint egy patikában vett félúton (ez a gyógyszertár lett a világ első benzinkútja), egy elszakadt láncot egy kovács, az elkopott fékbetétet egy cipész cserélte ki, majd célba érve táviratban nyugtatta meg aggódó férjét. Útja hatalmas feltűnést keltett – ami nem is titkoltan az elszánt asszony szándéka volt, mert az automobilokat senki sem akarta megvenni. A világ legrégibb, eredeti állapotában fennmaradt kocsija ma a londoni Tudományos Múzeumban látható.
Nagy vetélytársa Gottlieb Daimler volt, akivel szabadalmi vitába keveredett az izzócsöves gyújtás kapcsán, a pert elvesztette, és licencdíjat kellett fizetnie. A két feltaláló kerülte egymást, még akkor sem beszéltek, amikor 1897-ben, a Közép-európai Gépjárműszövetség megalakulása alkalmából találkoztak.
Benz volt az első, aki 1888 nyarán gépkocsikat kezdett árulni. 1893-ban készült az óránként 18 kilométeres sebességre képes, Viktoria nevű járműve, majd a következő évben a viszonylag olcsó Velo, a világ első sorozatban gyártott autója. 1894-ben már 67 autót sikerült eladnia, egy évvel később 135-öt. 1899-re a cég tekintélyes részvénytársasággá, a világ legnagyobb autógyárává fejlődött, amely 572 kocsira talált vevőt, a választék a kétszemélyestől a tizenkét személyesig terjedt, sőt, versenyautókat is építettek. A kocsik azonban viszonylag lassúak voltak, a vevők pedig sebességre vágytak, ezért Benz kénytelen volt megváltoztatni véleményét, mely szerint „az 50 km/h éppen elég”.
Benz 1906-ban hagyta ott a céget, hogy megalapítsa a C. Benz Söhne céget két fiával, Eugennel és Richarddal, ennek ladenburgi telephelyén ma a Dr. Carl Benz Múzeum található. 1909-ben létrehozta a Motorfahrzeug- und Motoren-Werke Mannheim AG-t, amely ma a Caterpillar Energy Solutions vállalathoz tartozik. Benz, aki 1914-ben a Karlsruhei Műszaki Egyetem díszdoktora lett, még megérte, hogy a Benz és Társa Gázmotorgyár 1926-ban egyesült a Daimler motorgyárral, így jött létre a Daimler-Benz AG, amely leginkább Mercedes-Benz autóiról lett híres.
Carl Benz 84 éves korában, 1929. április 4-én hunyt el hörghurut következtében Ladenburgban, ahol a sírja is található.
