Thielemans začal svoju kariéru ako gitarista. V roku 1949 sa pridal k jam session v Paríži so Sidneym Bechetom, Charlie Parkerom, Milesom Davisom, Maxom Roachom a ďalšími. V rokoch 1949 a 1950 absolvoval európske turné s Bennym Goodmanom. Svoju prvú nahrávku nahral v Paríži s kolegom z kapely, tenorsaxofonistom Zootom Simsom. V roku 1951 sa stal členom kapely Bobbejaan Schoepen.
V roku 1952 sa presťahoval do USA. Bol členom Charlie Parker's All-Stars a spolupracoval s Milesom Davisom a Dinah Washington. Hral a nahrával s Ellou Fitzgerald, Jacom Pastoriusom, Peggy Lee, The George Shearing Quintet, Quincy Jonesom, Oscarom Petersonom, Billom Evansom, Paulom Simonom, Billym Joelom, The Happenings, Astrud Gilberto, Shirley Horn, Elis Reginou a ďalšími.
Džezovým štandardom Tootsa Thielemansa je skladba "Bluesette", v ktorej použil pískanie a gitaru unisono. Prvýkrát ju Toots nahral v roku 1962, pričom slová k nej pridal Norman Gimbel a pieseň sa stala veľkým celosvetovým hitom. Jeho hru na harmonike môžeme počuť aj vo filmoch ako Polnočný kovboj, Jean de Florette, Sugarland Express, Yakuza, Turecké potešenie, The Getaway, Francúzsky bozk, Dunderklumpen. Jeho hudba zaznela aj v televíznych programoch vrátane Sesame Street, belgického televízneho seriálu Witse a holandského televízneho seriálu Baantjer. Vytvoril hudbu k švédskemu filmu Dunderklumpen z roku 1974. Nahovoril tiež hlas animovanej postavičke Pellegnillot.
Jeho pískanie a hru na harmonike možno počuť v rozhlasových a televíznych reklamách Old Spice, ktoré boli natočené v priebehu rokov. V 80. rokoch vystupoval s basgitaristom a skladateľom/kapelníkom Jacom Pastoriusom. V roku 1983 účinkoval na albume Billyho Joela An Innocent Man a jeho charakteristickú harmoniku možno počuť v skladbe "Leave a Tender Moment Alone". O rok neskôr sa objavil v piesni Juliana Lennona "Too Late For Goodbyes" z albumu Valotte. V roku 1984 nahral posledný album Billyho Eckstina (I Am A Singer). V roku 1998 vydal album vo francúzskom štýle s názvom "Chez Toots". Obsahoval skladbu Les Moulins De Mon Coeur (Mlyny môjho srdca), na ktorej hosťoval spevák Johnny Mathis.
Okrem popularity ako hudobník bol obľúbený aj pre svoju skromnosť a milé správanie. V roku 2001 bol Thielemans belgickým kráľom Albertom II. povýšený na baróna.
