Баден-Пауэлл родился в Паддингтоне (район Лондона). Он был шестым из восьми сыновей Бадена Пауэлла, англиканского священника и профессора геометрии в Оксфордском университете. Отец умер, когда Роберту было три года. После этого фамилия детей была изменена: в память об отце его имя, Бейден, было присоединено к фамилии его потомков. Детей воспитывала мать, Генриетта Грейс, сильная женщина, уверенная, что её дети преуспеют. Баден-Пауэлл скажет про неё в 1933 году: «Главный секрет моего успеха принадлежит моей матери».