Родился 1 (13) ноября 1842 года в Гдове в купеческой семье. У его отца был парфюмерный магазин в Гостином дворе Санкт-Петербурга. Пыляев учился в реформатском училище в Санкт-Петербурге, слушал лекции в университете г. Харькова, а также в университетах Европы.
Благодаря знакомству с Василием Степановичем Курочкиным, начал печататься в «Искре», затем в «Сыне отечества», «Петербургском листке», «Суфлере», «Петербургской Газете», «Театральном мирке», «Труде», «Севере», «Московском Листке», «Всемирной Иллюстрации» и др. Интересовался театральной жизнью, был автором многочисленных статей по истории театра и отчётов о художественных выставках.
Для «Исторического Вестника» Пыляевым были написаны статьи «Наш театр в эпоху Отечественной войны», «Исторические колокола», «Отец Суворова», «Полубарские затеи», «Столетие собора Александро-Невской лавры», «Эпоха рыцарских каруселей и аллегорических маскарадов в России»..
С 1879 года Пыляев работал в «Новом времени», где поместил ряд фельетонов о петербургской старине, затем выпущенных Алексеем Сергеевичем Сувориным в виде отдельных изданий. В своих работах использовал документы из частных архивов (в настоящее время большей частью утраченных) и свидетельства старожилов.
В Петербурге жил на набережной реки Фонтанки в доме № 22, на стене которого установлена мемориальная доска с надписью: «Михаил Иванович Пыляев (1842–1899), историк, краевед Петербурга, жил в этом доме».
Был похоронен на Митрофаниевском кладбище Санкт-Петербурга, в 1930-х годах захоронение было перенесено на Литераторские мостки Волковского кладбища.