Музыкальное образование Афанасьев получил от своего отца, скрипача Якова Ивановича Афанасьева, который был внебрачным сыном князя Ивана Долгорукова. Проявив незаурядный талант, Афанасьев-младший уже в пятнадцать лет выступил с сольным концертом в Москве, а через два года был принят в оркестр Императорской оперы, где вскоре стал концертмейстером. В 1841 Афанасьев покинул этот пост и стал дирижёром частной крепостной оперы Шепелева в Выксе, где поставил несколько спектаклей. Через несколько лет он принял решение посвятить себя сольному исполнению, дал несколько концертов в крупнейших городах России и к 1851 осел в Петербурге, где также выступал как солист и руководил оркестром Итальянской оперы. С 1853 Афанасьев преподавал игру на фортепиано в Смольном институте. В 1857 концерты скрипача прошли в Германии, Франции, Англии, Швейцарии и Италии.
По возвращении с гастролей в Россию Афанасьев занялся сочинением музыки, и с этого времени стал известен почти исключительно как композитор. Перу Афанасьева принадлежит большое количество произведений, но большинство из них до сих пор не опубликованы. При жизни композитора успехом пользовались его камерные работы: так, струнный квартет «Волга», написанный около 1860 года, был удостоен первой премии Русского музыкального общества. Судьба опер Афанасьева сложилась более драматично: единственная постановка оперы «Аммалат-бек» по роману А. А. Бестужева-Марлинского состоялась в Мариинском театре 11 (23) ноября 1870 года и не имела успеха, другие же его сочинения для музыкального театра вообще не были исполнены или существуют лишь в рукописях.
В творчестве Афанасьева ярко проявляется влияние русского музыкального фольклора: нередко он использует мотивы и ритмы народных песен и танцев. В 1866 году под редакцией Афанасьева вышел в печать сборник народных песен, обработанных для четырёхголосного хора a capella. В своих мемуарах, написанных в 1890 году, Афанасьев описал музыкальную жизнь России середины XIX века. За два года до смерти музыкант был избран в почётные члены Русского музыкального общества.
Скрипка и фортепиано:
Другие составы: