Lee zdedil s domom Arlington House aj niekoľko otrokov. Ukázalo sa, že nebol veľmi dobrým pánom otrokov. Snažil sa byť láskavý a odmietal používať mučenie. Otroci však vedeli, že sloboda im bola udelená v závete, a odmietali pracovať. Lee im chcel udeliť slobodu, ale potreboval ich, aby mu pomohli dohliadnuť na prácu v Arlington House. Lee osobne otroctvo nenávidel a nazýval ho "zlom" pre
černochov aj pre bielych. Myslel si však, že ho treba postupne ukončiť, inak by sa hospodárstvo Juhu wikt:collapse. Lee však súhlasil s ostatnými južanmi, ktorí si mysleli, že černosi sú menejcenní. Veril, že
Boh vyrieši tento problém vo svojom vlastnom čase. Lee mal podobne ako Thomas Jefferson zmiešané pocity v súvislosti s otroctvom.
Zvolenie Abrahama Lincolna v roku 1860 spôsobilo, že niekoľko štátov sa na protest oddelilo. To postavilo Leeho do zložitej situácie. Novovzniknuté Konfederované štáty americké ponúkli Leemu hodnosť brigádneho generála. Lee na túto ponuku nereagoval. Winfield Scott mu ponúkol velenie armády amerických dobrovoľníkov. Ani na túto ponuku neodpovedal. V dňoch 12. - 14. apríla 1861 boli americké vojská bombardované v pevnosti Fort Sumter v Charlestone v Južnej Karolíne. V ten istý deň Virgínia vystúpila z Únie. Lee nepodporoval odtrhnutie, ale nemohol bojovať proti vlastnému štátu Virgínia. Lee sa 22. apríla 1861 v Arlington House vzdal svojho mandátu v americkej armáde. Svojim priateľom povedal, že sa nebude podieľať na invázii na Juh. O niekoľko dní neskôr prijal velenie všetkých virginských síl.
Lee spočiatku nevelil žiadnym vojakom v bitke. Namiesto toho pomáhal prezidentovi Konfederácie Jeffersonovi Davisovi prijímať vojenské rozhodnutia. V roku 1862 sa stal veliteľom armády Severnej Virgínie. Túto armádu viedol po zvyšok vojny. Vyhral by mnohé bitky, aj keď armáda Únie mala v bitkách viac mužov a zbraní. V bitke pri Gettysburgu sa pokúsil napadnúť Úniu, aby ukončil vojnu. Jeho armáda však bola porazená a musel ustúpiť späť do Virgínie.
V rokoch 1864 a 1865 Lee bojoval proti generálovi Únie Ulyssesovi S. Grantovi vo Virgínii. Koncom roka 1864 a začiatkom roka 1865 Lee a Grant bojovali neďaleko Richmondu vo Virgínii v sérii bitiek nazývaných obliehanie Petersburgu. V apríli 1865 Grant prinútil Leeho ustúpiť z Richmondu. Po sérii bitiek Grant obkľúčil Leeho neďaleko Appomattox Courthouse a prinútil ho vzdať sa. Predtým, ako sa vzdal, povedal: "Radšej by som zomrel tisíckou mŕtvych, ako sa vzdal."