Восемнадцатилетним юношей ушел на фронт, был солдатом. Писал заметки в дивизионную многотиражку «Отвага», куда его вскоре направили на работу. После войны работал в многотиражных газетах «Жилищный работник» и «Коммунальный работник», одновременно публиковался в городских газетах. В 1951 году заочно окончил Московский полиграфический институт. Три года работал в «Вечерней Москве», а затем 33 года вел отдел социально-бытовых проблем в «Литературной газете». Был постоянным автором журнала «Журналист».
Член Союза журналистов, Союза писателей, автор трёх десятков книг.
Анатолий Рубинов — основатель Общества потребителей России, основатель «Телефона доверия». В частности, благодаря его усилиям все продукты в стране маркируются — указываются даты изготовления, срок годности и состав. Выступал в поддержку перехода СССР на летнее и зимнее время (такой переход стал ежегодным начиная с 1981 года).
Четырежды лауреат премии «Литературной газеты», дважды лауреат премии журнала «Огонёк», лауреат премий Союза журналистов СССР, Конкурса репортеров, Конкурса Союза журналистов Москвы, обладатель премии Международного конкурса юмора и сатиры имени Алеко. За свою работу в печати Анатолий Рубинов был награждён двумя орденами «Знак почета».
В последние годы писал новую книгу «Ю», также готовил к печати второй том нашумевшей в 90-е годы книги «Интимная жизнь Москвы».
В марте 2008 перенёс инфаркт, почти месяц пролежал в больнице. Скончался вечером 9 мая 2009 года на 86-м году жизни. Похоронен 13 мая.