A renunţat la această poziţie după un an, iar apoi a început să lucreze ca vânzător ambulant de piane şi instrumente muzicale. Watson şi-a deschis apoi o afacere pe cont propriu: o măcelărie care a dat faliment.Odată cu noul proprietar al măcelăriei, Watson trebuia să facă transferul plăţilor către noul proprietar, prin compania care producea case de marcat (National Cash Register), unde l-a cunoscut pe John J. Range, preşedintele departamentului din Buffalo al NCR, căruia i-a cerut un loc de muncă.

L-a sunat în mod repetat şi, în cele din urmă, a reuşit să se angajeze ca vânzător ucenic al lui Range. Sub ghidarea lui, Watson a devenit în curând cel mai de succes om de vânzări din estul SUA, câştigând 100 de dolari pe săptămână.

Watson a fost avansat în postul de manager de agenţie al NCR în Rochester, New York, unde primea un comision de 35% şi trebuia să raporteze direct celui de-al doilea om aflat la comanda NCR. A reuşit să scoată de pe piaţă principalul competitor, iar ca recompensă a fost numit ca director al biroului din Dayton, Ohio.

Watson s-a alăturat IBM ca director general în 1914, când compania, numită atunci Computing-Tabulating-Recoding Co., avea 1.300 de angajaţi. Anul următor a devenit preşedintele acesteia, iar într-un interval de patru ani, a dublat cifra de afaceri până la nouă milioane de euro. În 1924, a redenumit-o International Business Machines.

Watson a transformat compania într-una dominantă pe piaţă, avea în proprietate şi închiria clienţilor mai mult de 90% din maşinile de calcul din America din acea perioadă.

Pe parcursul vieţii, Watson şi-a menţinut interesul în relaţii internaţionale. S-a întâlnit cu regi, preşedinţi, prim-miniştri şi ambasadori care au vizitat New York-ul. Watson a lansat sloganul IBM "Pace mondială prin schimburi internaţionale", referindu-se nu doar la schimbul de bunuri şi servicii, dar şi al oamenilor şi ideilor.

A primit chiar şi o medalie pentru ajutorul adus de maşinile de calcul regimului nazist, în special în ce priveşte datele referitoare la recensământul populaţiei. Watson a returnat medalia guvernului german, iar cancelarul german Adolf Hitler i-a interzis să mai calce pe pământ german. La moartea lui Watson, în 1956, cifra de afaceri a companiei ajunsese la 897 de milioane de dolari şi la peste 70.000 de angajaţi. În prezent, compania valorează peste 100 de miliarde de dolari.