Родился в Берлине в 1894 году в семье учителя начальных классов.
Во время Первой мировой войны добровольно пошёл на фронт, воевал в составе 17-го сапёрного батальона, дважды был ранен и награждён двумя Железными крестами.
После окончания войны начал работу в криминальной полиции (Kriminalpolizei или «Kripo»), в 1924 году стал комиссаром полиции.
1 июля 1931 года вступил в НСДАП, стал посредником нацистов в Берлинской криминальной полиции, взаимодействуя с подразделением СС во главе с Куртом Далюге, который и порекомендовал его в апреле 1933 года на пост шефа государственной полиции.
В октябре 1933 года глава прусского гестапо Рудольф Дильс отдал приказ Небе о подготовке ликвидации соперника Гитлера Грегора Штрассера, что стало причиной его постепенного отхода от нацистов.
После слияния «Kripo» и СД получил чин группенфюрера СС.
В 1936 году Небе возглавил «Kripo», которая позднее стала называться V управлением Главного управления имперской безопасности (РСХА).
В 1937 году отдел криминальной полиции расширил своё влияние на всю страну и наряду с гестапо стал одним из важнейших звеньев в структуре СД. Небе остался на своём посту, непосредственно подчиняясь Гейдриху.
В 1938 году Небе был привлечён к заговору Гиммлера против генерала Вернера фон Фрича.
В том же году он участвовал в заговоре против Гитлера, предполагающим его убийство в случае начала войны с Чехословакией в Судетах.
В 1941 году, непосредственно перед началом плана «Барбаросса», Гиммлер назначил Небе начальником айнзатцгруппы В на Восточном фронте в группе армий «Центр». В этой должности (с июня по октябрь 1941 года) Небе зарекомендовал себя как безжалостный и аморальный организатор массовых убийств (в основном евреев).
По возвращении из СССР Небе предсказал скорый конец войны и поражение Германии.
Небе был вовлечён в заговор 20 июля 1944 года против Адольфа Гитлера (он должен был возглавлять отряд из 15 полицейских, перед которыми поставлена задача арестовать министров). После провала заговора он скрылся, но был выдан полиции отвергнутой им любовницей.
Небе был приговорён к смерти и 21 марта 1945 года повешен. Вместо верёвки использовалась рояльная струна, одним концом привязанная к мясницкому крюку — согласно приказу Гитлера, желавшего видеть заговорщиков, «повешенных, как скотов».
Артур Небе — один из главных персонажей романа на тему альтернативной истории английского писателя и историка Роберта Харриса «Фатерлянд». В романе Небе в чине оберстгруппенфюрера СС продолжает руководить криминальной полицией рейха и помогает главному герою в его расследовании, желая использовать полученный компромат, чтобы сместить с должности другого эсэсовца — Одило Глобочника.