Leahy bol prvýkrát zvolený do Senátu Spojených štátov amerických v roku 1974, keď vystriedal 34-ročného Georgea Aikena. Vo veku 34 rokov bol najmladším senátorom v histórii Vermontu. V roku 1980 Leahyho takmer porazil republikán Stewart Ledbetter, ktorý pri drvivom víťazstve Ronalda Reagana vyhral len o 2 700 hlasov. V roku 1986 čelil na papieri ešte silnejšiemu vyzývateľovi v osobe bývalého guvernéra Richarda Snellinga, ale Leahy túto výzvu odvrátil a získal 63 % hlasov. V roku 1992 čelil ďalšiemu súperovi v osobe štátneho tajomníka Vermontu Jima Douglasa a zvíťazil o 11 bodov.
Leahy bol prvým senátorom z Vermontu, ktorý nebol republikánom od roku 1856. Dodnes je jediným demokratom, ktorý bol kedy zvolený do Senátu z Vermontu. Technicky je jedným z troch demokratov, ktorí od konca občianskej vojny zastupovali Vermont v oboch komorách Kongresu.
Neskoršia kariéra
V marci 2004 Leahy a Orrin Hatch predstavili pirátsky zákon, ktorý podporovala RIAA. V júli 2004 Leahy a Hatch predstavili zákon INDUCE. Oba boli zamerané na boj proti porušovaniu autorských práv.
2. novembra 2004 Leahy ľahko porazil svojho súpera, podnikateľa Jacka McMullena, so 70,6 % hlasov. Dňa 5. januára 2005 zložil Leahy prísahu na svoje šieste funkčné obdobie v Senáte.
21. septembra 2005 Leahy oznámil, že podporuje Johna Robertsa za predsedu Najvyššieho súdu Spojených štátov. Dňa 19. januára 2006 Leahy oznámil, že bude hlasovať proti tomu, aby sa sudca Samuel Alito stal sudcom Najvyššieho súdu.
Dňa 18. januára 2007 sa Leahy dočkal širokého ohlasu za svoj krížový výsluch generálneho prokurátora Alberta Gonzalesa v súvislosti s kauzou Mahera Arara a jeho mimoriadnym vydaním do Sýrie.
Dočasný predseda
Po smrti dočasného predsedu Senátu Daniela Inouyeho 17. decembra 2012 sa Leahy stal najstarším senátorom väčšiny a bol jednomyseľne zvolený za nového dočasného predsedu.
3. januára 2015 Orrin Hatch nahradil Leahyho vo funkcii dočasného predsedu Senátu Spojených štátov. Krátko na to mu bol udelený titul emeritného predsedu.
