Вообще то нет, заботиться о рабах не надо было, таких законов на Юге не было. Согласно завещанию, он должен был отпустить рабов на свободу через 5 лет самое позднее, мог и ранее, но не отпустил. (Fellman, Michael "The Making of Robert E. Lee")
Потому что его стиль жизни не очень способствовал осёдлости и землицы для обработки у него тоже было, маловато. А без этого, зачем рабы?. Он получил обширные земли в наследство от тестя, но на них весили огромные долги, он два года пытался что-то сделать но плюнул и сплавил их при первой же возможности. Он и тех рабов, что были, сдавал внаём. Не занимался ими сам.
Собственно, он много писал, что рабство - нехорошо (относительно нехорошо, как никак Богом данный порядок, не годится менять), но это не мешало ему сажать в тюрьму рабов, которые после смерти тестя понадеялись получить свободу, но обломанные Робертом, выразили неудовольствие.
Ну и в 63ем, кажется, он разрешал своим войскам ловить чёрных с Северных штатов во время рейдов по вражеской и обращать их в рабство ( Reeves, Frank "Confederates' 'slave hunt' in North a military disgrace".)