Сын С. И. Старынкевича. Окончил юридический факультет.
Поступил на службу в Петербурге в июне 1879 г. (гвардейская конная артиллерия). В 1880 г. — подпрапорщик, в 1884 — поручик, 1891 — штабс-капитан, с 1895 — капитан, с 1896 — полковник. В 1895—1899 годах — командир 4-й батареи гвардейской конной бригады.
В 1899—1900 годах — офицер для особых поручений при министре внутренних дел. С 03.06.1900 по 16.06.1902 — олонецкий, а с 16.06.1902 по 23.07.1903 — курляндский вице-губернатор.
Томский губернатор (23.07.1903—23.12.1904), Харьковский губернатор (1904—1905).
25 июля 1906 года Старынкевич был назначен губернатором в Симбирск. Убит эсерами-террористами. 21 сентября 1906 года в него была брошена бомба. Сначала ранения казались не тяжёлыми, но через два дня, 23 сентября 1906 Старынкевич скончался от паралича сердца на почве заражения крови после повреждений, полученных от бомбы..