Кэб Кэллоуэй родился в Рочестере, прямо на Рождество 1907 года. Отец Кэба был юристом, а мать была учительницей и органисткой. Он был не единственным ребёнком в семье, у него была сестра старше его на 3 года, Блэнш (англ.: Blanche). В 1918-ом году семья переехала в Мэриленд, где его мать нашла работу в местной церкви. Она и подтолкнула своих детей на то, чтобы они начали серьезно заниматься вокалом. Кэбу очень нравилось петь в церкви. Родители открыли музыкальный талант в своем сыне и в 1922-ом он начал брать индвидуальные уроки по вокалу.
Поступив в 1924-ом году в школу Frederick Douglas High School у него появился интерес к спорту, ему стал очень нравится баскетбол. Но он не прекратил заниматься музыкой, напротив, часто посещал джазовые клубы и многому учился у мэтров джаза. Закончив школу, он пошел в университет Lincoln University в Пенсильвании. В 1927-ом году музыкант начал играть в оркестре сестры и настолько сильно увлекся, что на некоторое время позабыл об учебе. Он покинул этот университет в 1930-ом году, не окончив. Родители убедили его продолжить обучение и всерьез заняться карьерой юриста, идти по стопам отца. Тогда музыкант поступил в юридическую школу колледжа Crane College в Чикаго. Но его главным интересом все равно оставалась музыка. Кэб так же выступал в школьном оркестре.
Кэллоуэй решил остаться в Чикаго с его сестрой, у которой уже была созданная, укоренившеяся карьера джазовой певицы в этом городе.