Николай Колли родился 5 (17) августа 1894 года в Москве. Учился с 1912 по 1922 год сначала в МУЖВЗ, затем во ВХУТЕМАСе. Под руководством А. В. Щусева в 1913—1915 гг. работал над проектом Казанского вокзала.
В 1923 году поду руководством И. В. Жолтовского работал над проектом комплекса ВСХВ. В 1927—1932 гг. в составе группы архитекторов, возглавляемой В. А. Весниным, проектировал Днепрогэс и соцгород в Запорожье.
Николай Колли автор проекта дома «Новая Москва» на Ленинградском проспекте (1926 год, ныне перестроен), Большого Каменного моста, Новоарбатского моста.
Совместно с Ле Корбюзье в 1928—1932 гг. работал в Париже и Москве над проектом здания Центросоюза. С 1933 года работал в качестве главного архитектора архитектурно-проектировочной мастерской № 6, проектировал Центральный стадион СССР, который планировалось построить в Измайлове, станции Московского метро Смоленская, Парк Культуры (северный павильон), Кировская, Павелецкая-Кольцевая.
Во время Великой Отечественной войны и после её окончания Николай Колли разрабатывал планы реконструкции городов Тверь, Минск (1945), Рига (1946). Работы по разработке генерального плана восстановления и развития Калинина (так именовалась Тверь с 1931 по 1990 год) были начаты в 1944 году.
Совместно с профессором И. Д. Мельчаковым Николай Колли разработал проект могилы М. И. Калинина.
С 1935 по 1951 год возглавлял Московское отделение Союза архитекторов. Занимался преподавательской деятельностью, в 1924—1941 преподавал в Московском техническом университете им. Баумана, с 1931 по 1941 в Московском архитектурном институте.
Умер Николай Джемсович Колли 3 декабря 1966 года, похоронен на Введенском кладбище.