Окончил медицинский факультет Московского университета. В 1859—1868 работал в Санкт-Петербурге в Калинкинской больнице — старейшей специализированной венерологической клинике России. Диссертацию доктора медицины на тему «Распознавание венерических болезней у женщин и детей» защитил в 1863 г. С 1868 г. преподаватель Санкт-Петербургской медико-хирургической академии, с 1872 г. профессор, в 1894-97 гг. заведующий кафедрой дерматологии и сифилидологии, где под его руководством работал также В. И. Зарубин. В 1860-70-е гг. сделал ряд важных открытий в области венерологии: доказал возможность повторного заражения сифилисом, предложил ряд новых лечебных препаратов.
С 1880-х гг научные интересы Тарновского в определённой степени смещаются в область сексологии, сексопатологии, морально-юридических аспектов сексуальности. В частности, Тарновский осторожно высказывался в пользу декриминализации мужеложества в тех случаях, когда оно связано с врождённой гомосексуальностью (различая при этом гомосексуальность врождённую и приобретённую); врождённой Тарновский считал также склонность к проституции. Считается, что в работе Тарновского «Извращения полового чувства» (1884, отдельное издание 1885, немецкое издание 1886) впервые в России введён термин «<половое> извращение» (как перевод фр. «inversion du sens g?nital» из одноимённой работы Ж.-М. Шарко и В.Маньяна 1882 г.), а сама эта работа во многом повлияла на труды основателя клинической сексопатологии Р. Крафт-Эбинга.