Сын Генри Ли (1756—1818) — героя Американской революции и губернатора Вирджинии в 1791—1794 годах. Роберт Ли окончил Военную академию США в Вест-Пойнте в 1829 году, до 1846 года служил в инженерных частях. Участвовал в американо-мексиканской войне 1846—1848 гг., за участие в которой получил временное повышение до полковника оставаясь в действительном звании капитана. В 1852 году занял пост суперинтенданта Вест-Пойнта, в 1855 году был назначен подполковником 2-го кавалерийского полка на границе в Техасе, где участвовал в боях с индейцами. В октябре 1859 года руководил подавлением аболиционистского рейда Джона Брауна.
Находясь на службе в форте Монро, он женился на Мэри Анне Рэндольф Кастис (1808-1873), правнучке Марты Вашингтон от ее первого мужа Дэниэля Парке Кастиса, и родственницы Джорджа Вашингтона. Мэри была единственным ребенком в семье Джорджа Вашингтона Парке Кастиса, потомка Джорджа Вашингтона и Мэри-Ли Фицхью Кастис, дочери Уильяма Фицхью и Энн Боллинг Рэндольф. Они поженились 30 июня 1831 года в Арлингтон-Хауз, доме невесты. 3-й артиллерийский полк служил почетной стражей на свадьбе. У Ли было предположительно семь детей, три мальчика и четыре девочки:
Все дети пережили его кроме Энни, которая умерла в 1862 году. Все они похоронены около родителей в фамильной часовне Ли при университете Вашингтона и Ли в Лексингтоне, Вирджиния.
Ли являлся дальним потомком Уильяма Рэндольфа и Ричарда Блэнда. Он так же был родственником Хелен Келлер и дальним родственником адмирала Уиллиса Агустуса Ли.
1 мая 1864 года генерал Ли стал крестным отцом Люси Ли Хилл, дочери генерала Эмброуза Хилла.
Ли хорошо проявил себя во время Мексиканской войны. Он служил адъютантом при Уинфилде Скотте во время похода из Веракруса на Мехико. Он лично проводил рекогносцировки и лично разрабатывал направления атаки позиций мексиканской армии, находя проходы через участки. которые мексиканцы считали непроходимыми. Именно благодаря его информации были одержаны многие победы в той войне. 18 апреля 1847 года после сражения при Сьерро-Гордо, Ли получил временное повышение до майора. Он так же участвовал в сражениях при Контерас, при Чурубуско и при Чапультепеке, и был ранен в последнем. До конца войны он получил временные повышения до подполковника и полковника, но его постоянным званием оставалось звание капитана, в котором он оставался до перевода в кавалерию в 1855 году.
Именно во время мексиканской войны Ли впервые встретился и работал с Улиссом Грантом. Они оба участвовали в походе на Мехико. Грант накопил опыт работы квартирмейстером, Ли – инженером. Оба участвовали в сражениях – Ли отличился при Веракрусе, а Грант был одним из командиров при кровопролитной атаке у Молино-дел-Рей.
После мексиканской войны Ли провел три года в форте Кэрролл в балтиморской гавани. Во время службы ему приходилось отвлекаться на другие работы – например, на составление и дополнение карт Флориды. В это время он отклонил предложение кубинских повстанцев возглавить их войну против Испании.
50-е годы стали трудными для Ли, ему приходилось по долгу отсутствовать дома, пережить болезни жены и некоторые личные неудачи. В 1852 году Ли был назначен суперинтендантом военной академии Вест-Пойнт. Он с неохотой согласился на эту должность, и исключительно из-за настойчивости военного департамента. Жена время от времени навещала его. Его старший сын Кастис Ли поступил в Вест-Пойнт в это самое время и окончил академию в 1854 году, первым в классе.
В 1855 году его перевели в кавалерию и направили во 2-й кавалерийский полк в Техас. Он оставил инженерный корпус и штабную работу ради полевой службы, о которой давно мечтал. Он служил под командованием полковника Альберта Сидни Джонстона в Кэмп-Купере, занимаясь защитой поселенцев от набегов апачей и команчей.
В 1857 году умер его тесть, Джордж Вашингтон Парке Кастис, и это вызвало серьезные проблемы в семье. Имение Кастис пребывало в плохом состоянии, плантации плохо управлялись и стали убыточными. Ли взял несколько отпусков, стал заниматься делами плантации и сумел привести дела в порядок.
В 1860 году президентом Соединенных Штатов был избран Авраам Линкольн, что послужило сигналом к отделению Южных Штатов. В марте 1861 года он вступил в должность и совершил попытки предотвратить войну, но потерпел неудачу. Линкольн предложил Роберту Ли возглавить федеральные войска, тем более, что тот был сторонником сохранения Союза и противником рабства. Но Ли не смог воевать против своего родного штата Виргиния и возглавил её войска, после чего стал военным советником президента Джефферсона Дэвиса, через которого оказывал влияние на руководство военными действиями. В 1862 году Ли стал командующим Северовирджинской армии, успешно действовал в Семидневном сражении. Проявил блестящий полководческий талант в сражениях при Булл-Ране, Фредериксберге, Чанселорвилле.
В 1863 году совершил попытку вытеснить северян из Вирджинии и перенести войну на территорию Союза, но в июле потерпел поражение в самом кровавом и ожесточенном сражении Гражданской войны — в Геттисбергской битве, отнявшей у Конфедерации шансы на победу. В 1864—1865 годах Ли вел оборонительные кампании против армии северян, находившихся под командованием Улисса Гранта и наносил ей значительные потери. В конце войны отвел армию за фортификационную линию у Питерсберга и Ричмонда. В феврале 1865 года был назначен главнокомандующим войсками Конфедерации, но к этому моменту Юг исчерпал все свои людские и экономические возможности. 9 апреля 1865 года Ли подписал капитуляцию у Аппоматтокса.
После окончания Гражданской войны в течение нескольких месяцев лечился, после чего возглавил колледж Вашингтона (впоследствии университет Вашингтона и Ли). 12 октября 1870 года Роберт Ли скончался.
Бенджамин Харви Хилл 1874