V decembri 2001 Perdue odstúpil z funkcie senátora, aby sa mohol uchádzať o post guvernéra. V roku 2002 zvíťazil v guvernérskych voľbách v Georgii, keď porazil demokratického kandidáta Roya Barnesa v pomere 51 % ku 46 %, pričom libertariánsky kandidát Garrett Michael Hayes získal 2 % hlasov. Stal sa prvým republikánskym guvernérom Georgie po viac ako 130 rokoch od čias Benjamina F. Conleyho.
Ako guvernér viedol Perdue reformy zamerané na zníženie plytvania v štátnej správe, najmä predaj prebytočných vozidiel a nehnuteľností. Pomohol Georgii dostať sa z posledného miesta v krajine vo výsledkoch testov SAT. Hoci sa v roku 2005 vrátila na posledné miesto, v roku 2006 sa Georgia dostala na 49. miesto v kombinovanom priemernom skóre z matematiky a čítania, vrátane písomnej časti, ktorá bola v tomto roku do testu pridaná. Perdue tiež vytvoril ďalšie možnosti pre charterové školy a súkromné školy. V roku 2006 Perdue podpísal zákon, ktorý Georgii poskytol "jedny z najtvrdších opatrení proti nelegálnemu prisťahovalectvu v krajine".
V roku 2006 bol Perdue opätovne zvolený do druhého funkčného obdobia v guvernérskych voľbách v Georgii, pričom získal takmer 58 % hlasov. Jeho demokratickým súperom bol viceguvernér Mark Taylor. Na volebnom lístku bol aj libertarián Garrett Michael Hayes.
2007 modlitba za dážď
13. novembra 2007, keď Georgiu sužovalo jedno z najhorších období sucha za niekoľko desaťročí, viedol Perdue skupinu niekoľkých stoviek ľudí k modlitbe na schodoch štátneho Kapitolu. Perdue sa prihovoril davu a povedal: "Zišli sme sa tu jednoducho z jedného jediného dôvodu: "Bože, potrebujeme ťa, potrebujeme dážď".
