Родился в Каменце-Подольском в семье юриста в 1894 г. С детства проявил выдающиеся способности к математике. В 1912 поступил в Киевский университет. Начиная со второго курса посещал семинары профессора Д. А. Граве по теории аналитических и алгебраических функций. Со временем составил собственное сочинение на эту тему и доказал арифметическую теорему монодромии. В 1915 из-за войны университет переехал в Саратов, здесь Чеботарёв сближается с Б. Н. Делоне, одним из лучших учеников Граве. В 1916 оставлен при университете для приготовления к профессорскому знанию, которое получил в 1918. В 1918—21 состоял приват-доцентом при университете, а также занимался преподавательской работой в Киевских ВУЗах. В 1921 г. уехал к родителям в Одессу, где продолжил свои исследования. В 1927 г. получил назначение в Казанский университет на должность заведующего кафедрой математики. В 1932 году выступал на Всемирном конгрессе математиков в Цюрихе с докладом, посвящённым столетию со дня смерти Эвариста Галуа.
В годы Великой Отечественной Войны пытался уйти добровольцем на фронт, но был оставлен в тылу, где занимался исследованиями вибрации стволов морских орудий при выстреле. За результаты работ дважды выдвигался в кандидаты на соискание Сталинской премии, но получил её только посмертно (Сталинская премия первой степени (1948) за монографию «Проблемы резольвент») . Ещё в 1929 году был выбран членом-корреспондентом Академии наук СССР; также в 1938 и 1946 годах выдвигался в действительные члены АН СССР, но не проходил по идеологическим причинам («В кружках по изучению марксизма-ленинизма, организованных парткомом для научных работников, не принимал и не принимает никакого участия», «проф. Чеботарёв относится к реакционной части профессуры» и т. п.). Тем не менее, был награжден орденом Ленина, двумя орденами Трудового Красного Знамени, удостоен почётных званий заслуженного деятеля науки РСФСР и ТАССР. Чеботарёв создал в Казани Казанскую алгебраическую школу, среди учеников, например, Наум Мейман.
В 1945 году стал первым директором Казанского физико-технического института АН СССР. Однако проработал на этой должности всего год.
В 1947 г. скончался после тяжёлой операции (за день до которой ещё делал доклад в Математическом обществе).
14 мая 2010 года на здании главного корпуса Одесского национального университета имени И. И. Мечникова была установлена мемориальная доска, посвящённая Николаю Григорьевичу Чеботарёву.