Родился 5 ноября 1730 года, в военную службу записан в 1736 году, образование получил в в Сухопутном шляхетском кадетском корпусе, откуда был выпущен в 1747 году инженер-прапорщиком.
В 1756 году в чине капитана назначен заведующим Инженерной школой, а по соединении её с артиллерийской — начальником этой новой инженерно-артиллерийской школы, которую довел до отличного состояния. По плану Мордвинова эта школа в 1762 году была преобразована в артиллерийский и инженерный кадетский корпус.
22 сентября 1764 году с производством в полковники Мордвинов был переведён в артиллерию командиром 2-го фузилерного полка и через шесть лет, в чине генерал-майора, назначен «Директором от строения государевых дорог». В 1771 году, оставаясь на этом посту, Мордвинов был вновь назначен директором Артиллерийского и инженерного кадетского корпуса, причём власть его была значительно расширена. Кроме того, в 1767 году он был избран депутатом в Екатерининскую комиссию для составления Нового Уложения.
17 марта 1774 года Мордвинов был произведён в генерал-поручики и назначен генерал-инженером — начальником всей инженерной части и всех путей сообщения, сухопутных и водных, в России с оставлением в должности директора Артиллерийского и инженерного кадетского корпуса.
В 1775 году он основал, под именем «Гимназии Чужестранныхъ Единоверцев» особый корпус, называвшийся в просторечии «Греческим», для воспитания детей греков-переселенцев в Росиию.
1 января 1780 года Мордвинов был уволен от должности инженер-генерала, с оставлением лишь «при управлении и наблюдении над Артиллерийским и инженерным кадетским корпусом, над Гимназиею Чужестранных Единоверцев и при других, ему порученных, комиссиях».
Среди наиболее крупных строений, возведённых под руководством Мордвинова в Санкт-Петербурге, известны Мраморный и Чесменский дворцы, а также невская набережная.
Скончался Мордвинов 7 октября 1782 года.
От брака с Екатериной Александровной урождённой Саблуковой он имел трёх сыновей и двух дочерей: