Был денщиком царя. В 1689 году семнадцатилетним юношей был послан стольником в Симбирск, Астрахань и другие города с царским указом. В 1695 году участвовал в Азовском походе, принимал участие в Северной войне, отличился при взятии Нарвы (1700), в Полтавской битве (1709), командовал отрядом при взятии Выборга (1710), возглавил поход в Финляндию (1713-14). Под его командованием был Московский 65-й пехотный полк.
С 1718 года член Адмиралтейской коллегии, сенатор. По окончании Северной войны занимал важные административные посты — губернатор Азовской и Лифляндской губерний. В 1721—22 гг. по поручению Петра I провёл перепись податных сословий в Москве и Московской губернии.
В 1730 году стал генерал-аншефом. С этого времени активно боролся с членами Верховного тайного совета на стороне императрицы Анны Иоанновны.
14 сентября 1731 «определён в Московскую губернию генерал-губернатором», отставлен именным указом от 21 августа 1735. Первым устроил уличное освещение в Москве. Особый указ 1730 года «О сделании для освещения в зимнее время в Москве стеклянных фонарей» предписывал по большим улицам установить на столбах светильники по указанным образцам; деньги на их устройство отпускала казна, но зажигание ламп и содержание их в исправности вменялось в обязанность жителей близлежащих домов. Через два года Чернышев доложил в Сенат, что фонари в предписанных местах поставлены.
По Высочайшему указу императрицы Анны Иоанновны организовал в Москве погребение царевны Прасковьи Ивановны (1731).
В 1740 году вновь назначен сенатором. Член следственной комиссии по делу А. П. Волынского (1740).
В 1742 году при Елизавете Петровне по случаю её коронации получил графский титул и Андреевскую ленту.
Написал записки, содержащие ценные сведения о современных ему событиях. Владел селом Красносельское. В 1717 году он купил половину вотчины Ярополец.
Умер в Санкт-Петербурге. Похоронен в Александро-Невской лавре.
Его супруга Авдотья Ивановна Чернышёва в юности была метрессой Петра и заслужила от него прозвание «Авдотьи бой-бабы». Брак состоялся в 1710 году по желанию царя. В приданое от Петра I Авдотья получила 4 тыс. душ крестьян, что весьма обогатило жениха, не имевшего собственного состояния.
Их дети: