Tatăl lui, mecanic de locomotivă, a murit într-un accident când Karl avea doi ani, iar numele lui a fost schimbat în amintirea acestuia, devenind Karl Benz. A urmat şcoala de gramatică din Karlsruhe, unde a fost un elev strălucit. După liceu, a fost admis în cadrul Universităţii Politehnice din Karlsruhe pe care a absolvit-o la 19 ani. A lucrat în paralel la dezvoltarea de concepte pentru a inventa o „trăsură fără cai„, inspirat de pasiunea lui pentru biciclete.

După încheierea studiilor, pentru Benz au urmat şapte ani de ucenicie în mai multe companii, dar nu s-a integrat în niciuna. În 1871, la 27 de ani, i s-a alăturat lui August Ritter la inaugurarea „Turnătoriei de fontă şi atelierului mecanic„, redenumită mai târziu „Fabrica de maşini unelte din tablă„. Ritter s-a dovedit un partener nedemn de încredere şi, pentru a-l scoate din afacere, i-a oferit acestuia zestrea soţiei, Bertha.

Afacerea nu mergea foarte bine, dar Karl Benz a continuat să dezvolte noi modele de motoare. Mai întâi, şi-a concentrat eforturile în direcţia unui motor în doi timpi. A reuşit să obţină patentul pentru acesta în ajunul Anului Nou din 1879. A urmat apoi perfecţionarea acestuia, perioadă în care a obţinut patente şi pentru un sistem de control de turaţie al autovehiculului sau pentru sistemul de pornire prin baterie.

Problemele au crescut odată cu presiunile din partea băncilor care doreau transformarea întreprinderii într-o societate publică cu răspundere limitată. Benz s-a asociat cu fotograful Emil Bühler şi fratele acestuia, un comerciant de brânză. Compania s-a transformat astfel, în 1882, în societatea cu răspundere limitată „Gasmotoren Fabrik Mannheim„.

În urma acestei schimbări, Benz a rămas cu funcţia de director şi cu cinci procente din acţiunile companiei. S-a retras din corporaţie cu un an mai târziu. Împreună cu Max Rose şi Friedrich Wilhelm Eßlinger, pe atunci proprietarii unui atelier de reparaţii pentru biciclete, a fondat în 1883, o nouă companie „Benz & Company Rheinische Gasmotoren-Fabrik„.

Succesul companiei i-a permis lui Benz să reînvie dorinţia lui de a face „trăsura fără cai„. Inspirat de biciclete, a folosit o tehnologie asemănătoare pentru automobil, creat în 1885 şi numit Benz Patent Motorwagen. În 1886, acesta a obţinut patentul, în anul următor, cel de-al doilea model al automobilului;  modelul final devenea în 1888 primul autovehicul vândut vreodată.

Cererea mare pentru motoarele statice cu combustie internă a dus la mărirea companiei din Manheim; aceasta a crescut de la 50 de angajaţi în 1889, la 430 în 1899 şi a devenit cel mai mare producător de autovehicule de la sfârşitul secolului al XIX-lea. Karl Benz a părăsit compania ca replică la hotărârea conducerii de a angaja un grup de proiectanţi francezi la uzina din Mannheim, în scopul de a înfrunta concurenţa firmei Mercedes.

În 1906, Benz a înfiinţat compania „Carl Benz Söhne„ în Ladenburg, deţinută şi de fiul său Eugen şi extinsă în Anglia, unde autovehiculele erau adeseori folosite ca taxiuri. Karl Benz a fost martorul exploziei motorizărilor proprii.