Учился в Московском театральном училище. В 1850 году был зачислен в балетную труппу. В 1853 году уехал в провинцию, выступал как драматический актёр в городах Сибири. Но уже в том же 1853 году поступил в труппу Малого театра, где проработал до 1866 года и сыграл множество ролей. Особенно ярко талант артиста проявлялся в острохарактерных образах — в комедии и водевиле.
В традициях Малого театра — передавать роли в тех же трактовках от старших к молодому поколению. В 1850-х годах к Рассказову перешли роли С. В. Васильева.
Был неоднократно занят в спектаклях по пьесам Островского. В бенефис Рассказова на сцене Малого театра 29 сентября 1865 года состоялась первая постановка пьесы Островского «На бойком месте».
Рассказов считался одним из лучших антрепренёров России, он держал антрепризы в Самаре, Туле, Калуге, Симбирске и других городах. В 1880—1890 годах организовывал спектакли в Немецком клубе в Москве; выступал сам. В последние годы жизни был антрепренёром театра в Пушкино под Москвой.