Родился в семье рабочего-хрустальщика (в 1877 году убит полицейскими, подкупленными хозяином завода Н. В. Ладыженским). Хотя запись в метрической книге сделана в церкви села Харитоново (ныне одноимённая деревня в Конаковском районе Тверской области), родился он, по-видимому в селении Хрустальный завод, где работал его отец. Восьми лет также был отдан на стекольный завод, а на пятый день расплавленное стекло изуродовало ему ногу; во время лечения научился читать. В 9 лет снова поступил на завод. Всего проработал на производстве около 50 лет (до 1916 года). В 18 лет стал читать лубочную литературу.
С 1880-х он начал писать стихи о своем рабочем окружении. В 1885 переселился в Москву. В начале 1890-х годов сблизился с М. Л. Леоновым и его кружком писателей из народа, позже вместе с ними стал одним из основателей «Суриковского литературно-музыкального кружка». Первое напечатанное стихотворение — «Зимняя картинка» (1891). С 1892 стихи Нечаева печатались в московских газетах и журналах. В 1911 и 1914 вышли первые сборники. После революции приобрёл признание среди участников пролетарского объединения «Кузница», в органах которого были напечатаны некоторые его стихи. Нечаев отклонял позицию Пролеткульта, направленную на разрыв с традицией, но сам оставался вне полемики. В 1924 он опубликовал свои воспоминания, незадолго до смерти вступил в партию большевиков. Похоронен на Ваганьковском кладбище.
В 1928 году Н. Ляшко и С. Обрадович осуществили «полное издание» стихов Нечаева, которое, однако, было существенно неполным.