Жил в Москве, у дочери в сельце Анашкино (Ершовское сельское поселение) и Оренбурге. В 1761 году начал собственное торговое дело в Петербурге.
В раннем возрасте познакомился с записками архимандрита Михаила, полкового священника при Петре I и очевидца многих событий этой эпохи, что вызвало в нём интерес к личности преобразователя. В 1767 году Голиков был избран депутатом в Комиссию нового Уложения, где познакомился с петровскими сподвижниками — С. И. Мордвиновым, И. П. Талызиным, а также с А. И. Нагаевым, у которого хранились письма Петра I и некоторые материалы по истории морского флота, с адмиралом 3. Д. Мишуковым, бывшим денщиком Петра, и другими.
Постепенно Голиков собрал около полутора тысяч книг о деятельности Петра I. В 1781 году он, владевший вместе с двоюродным братом М. С. Голиковым питейными откупами Петербурга и Москвы, был арестован по обвинению в беспошлинном ввозе в Россию французской водки. Был приговорён к «лишению чести», конфискации имущества и ссылке в Сибирь. Однако 7 августа 1782 года, по случаю открытия памятника Петру I, был объявлен правительственный манифест об амнистии. Голикова помиловали, но запретили ему заниматься коммерцией. По преданию, он, стоя на коленях перед Медным всадником, поклялся самому себе написать историю Петра Великого.
Переселившись в Москву, он все остальные годы жизни работал над выполнением своего обещания. Большую помощь ему оказали И. И. Неплюев, П. И. Рычков, И. И. Шувалов, Крекшин, граф А. Р. Воронцов, княгиня Е. Р. Дашкова, особенно Г. Ф. Миллер и H. H. Бантыш-Каменский. Голиков сипользовал народные предания, материалы московских букинистов и различных архивов, включая архив Академии наук и архив Иностранной коллегии (не ранее 1789 года).
Издал в 1788—1789 годах «Деяния Петра Великого, мудрого преобразителя России, собранные из достоверных источников и расположенные по годам» и в 1790—1997 годщах выпустил 18 томов «Дополнений».
По оценке ЭСБЕ, «монументальный труд Голикова есть простой хронологический свод данных, к тому же без проверки фактов, с частыми ошибками в чтении рукописного материала. Чувство восторга и беспредельного благоговения к Петру, наивное преклонение перед своим „ироем“ лишило Голикова возможности критически разобраться в источниках. Для своего времени, однако, „Деяния“ имели громадное значение, как первый старательный свод фактов и попытка систематизировать их. На „Деяниях“ воспиталось не одно поколение русских людей, и тот ореол необычайного, лишенного корней в прошедшем, которым до половины XIX столетия была окружена деятельность Петра Великого, был создан в значительной степени работой Голикова. До Н. Г. Устрялова и С. М. Соловьева, вообще до обнародования новых данных о Петровской эпохе (с воцарения императора Александра II) Голикова, можно сказать, служил единственно серьезным источником для всех почти историков Петровского царствования (Галем, Бергман и др.)»
Конспект «Деяний Петра Великого» лежал в основе работы Пушкина над «Историей Петра»