Родился в Вологде в дворянской семье, крещён в церкви при Вологодской духовной семинарии. Отец, Андрей Николаевич, дослужился до чина полковника, мать, Мария Федоровна, – помещица. В семье, кроме Виктора, было еще три сына: Николай, Владимир и Лев.
В 1879 г. Виктор поступил, а в 1885 г. окончил юридический факультет Санкт-Петербургского университета. Еще будучи студентом, он женился. Женой его стала дочь купца Ольга Захаровна. У них было трое детей: сыновья Сергей (1885 г.р.) и Андрей (1889 г.р.) и дочь Мария (1886 г.р.).
Около трёх лет В.А.Кудрявый в качестве помощника присяжного поверенного занимался адвокатской практикой в Петербурге, но за политическую деятельность (на его квартире в 1886 г. собирались члены кружка Н.Н.Шелгунова) был привлечён к дознанию, и по повелению императора Александра III от 27 сентября 1887 г. ему пришлось отбывать двухмесячное заключение в вологодской тюрьме. Затем он был выслан в административном порядке в Грязовецкий уезд. Поселился в своем имении Коротыгино и занимался сельским хозяйством.
25 октября 1888 г. на сессии Грязовецкого уездного земского собрания В.А.Кудрявый был избран мировым судьей 2-го участка, но Правительствующий сенат не утвердил его в этой должности. В октябре 1891 г. земским собранием В.А.Кудрявый был избран и вскоре утвержден вологодским губернатором председателем Грязовецкой уездной земской управы, которую возглавлял три срока. В 1894 г. указом Правительствующего сената он был утверждён в чине губернского секретаря, в 1895 г. произведён за выслугу лет в коллежские секретари, а в 1897 г. получил чин титулярного советника. Имел и награды: в 1896 г. он был награжден серебряной медалью в память почившего Александра III, в 1897 г. – бронзовой медалью за труды по всеобщей переписи населения, в 1899 г. – орденом св.Анны 3-й степени.
В феврале 1900 г. Вологодским губернским земским собранием В.А.Кудрявый большинством голосов был избран на должность председателя губернской земской управы, а в феврале 1904 г. переизбран на новый срок. Новое избрание министр внутренних дел, однако, не утвердил, считая Виктора Андреевича настроенным оппозиционно к существующей власти. К тому у министра были основания. Вологодское губернское жандармское управление представило сведения о политической неблагонадежности В.А.Кудрявого, который был замечен в общении с политическими ссыльными В.А.Ждановым, П.П.Румянцевым, Б.В.Савинковым, П.Н.Щеголевым и др.
Потеряв службу, Виктор Андреевич решил на некоторое время уехать в Петербург. В Вологде он был уже заметным общественным деятелем, поэтому вологодские земцы, не имея возможности иным путём протестовать против решения министра, демонстративно устроили ему в помещении губернской земской управы прощальный обед, на котором выступили земский начальник Грязовецкого уезда Лавров, земский техник Ильин, земский врач В. Грабовский, ссыльный социал-демократ И.А.Саммер. Это было время так называемой «банкетной кампании», поэтому речи названных лиц, скорее всего, носили оппозиционный характер.
В Петербурге В.А.Кудрявому устроиться на службу в общество «Надежда », как он рассчитывал, не удалось, но получилось установить контакты с московскими земцами-либералами, и 6–9 ноября 1904 г. он присутствовал на втором съезде земских деятелей. Съезд принял резолюцию, в которой потребовал от власти обеспечения «свободы совести и вероисповедания, свободы слова и печати, а также свободы собрания и союзов». Большинство членов съезда высказались также за создание выборного органа из народных представителей в осуществлении законодательной власти. Под этой резолюцией стояла и подпись В.А.Кудрявого.
Возвратившись в Вологду, Виктор Андреевич 25 января 1905 г. получил свидетельство частного поверенного при Вологодском окружном суде. Вскоре он был избран гласным Вологодской городской думы на 1905–1909 гг., а в мае 1909 г. Вологодское губернское земское собрание вновь избрало его на должность председателя Вологодской губернской земской управы. В этой ситуации министру внутренних дел пришлось подчиниться требованию вологодской общественности и утвердить В.А.Кудрявого в должности.
Во время руководства В.А.Кудрявым губернской управой Вологодское губернское земство предприняло проведение масштабных работ – подворное обследование крестьянских хозяйств губернии. Эти работы были начаты еще тогда, когда он возглавлял Грязовецкую земскую управу. Грязовецкий уезд был первым при проведении подворных обследований; на нём отрабатывались программа и методика сбора сведений. Итоги этой работы опубликованы. Они содержат полное статистическое описание всех деревень Грязовецкого, Кадниковского, Вологодского, Тотемского, Вельского и Великоустюгского уездов. По остальным уездам сведения, к сожалению, не были обработаны.
В 1906 г. В.А.Кудрявый был избран от вологодского земства в состав Государственного совета. Как известно, после Манифеста 17 октября 1905 г. Госсовет был преобразован в одну из палат российского парламента. Законодательство гласило: «Никакой закон не может восприять силы без одобрения Совета и Думы». Часть членов Госсовета царём назначалась, другую часть составляли выборные от духовенства, дворян, земств, а также представители науки, торговли и промышленности. Избирали в члены Госсовета на 9 лет. В.А.Кудрявый вошёл в состав его выборной части.
Виктор Андреевич стоял и у истоков создания вологодской группы партии народной свободы. В Вологде он пользовался репутацией известного либерала, и, возможно, в отместку за его активную оппозиционную деятельность в сентябре 1910 г. его дом ночью был подожжён неизвестными. В сентябре 1911 г. В.А.Кудрявый привлекался к суду, но содержание обвинения установить не удалось. В 1912 г. случилось еще одно несчастье – умер его старший сын Сергей, известный социал-демократ, трудившийся помощником присяжного поверенного в Санкт-Петербурге.
Его общественная и земская деятельность была разнообразна: он был членом Вологодского общества изучения Северного края (с ноября 1913 г.), избирался председателем правления городской публичной библиотеки (март 1914 г.), но не был утверждён губернатором, состоял членом Вологодского губернского комитета общеземского союза (с августа 1914 г.) и т. д.
В первой половине 1915 г. В.А.Кудрявый какое-то время находился на фронте, но поскольку по возрасту он уже не мог быть призван в армию, то, возможно, это было как-то связано с деятельностью земского и городского союза.
В августе 1915 г. на заседании чрезвычайного губернского земского собрания В.А.Кудрявый был избран членом губернской земской управы. В этом качестве он присутствовал в октябре 1915 г. на заседании областного комитета Всероссийского союза городов, а в январе 1916 г. в Москве на районном совещании уполномоченных по продовольственному делу.
После Февральской революции он сразу же вошёл в состав Вологодского губернского временного комитета, а 4 марта 1917 г. был избран его председателем. Но на этой должности он находился недолго. 6 марта 1917 г. он был утвержден Временным правительством в должности губернского комиссара и занимал этот пост до 26 января 1918 г.
После перехода власти в руки Вологодского Совета рабочих и солдатских депутатов В.А.Кудрявый выступил с публичным протестом против установления Советской власти в губернии, однако участия в борьбе против новой власти не принял.
В мае 1919 г. Виктор Андреевич заболел оспой и 28 мая умер. 29 мая он был похоронен на Введенском кладбище Вологды. Точное место могилы в настоящее время неизвестно. Извещение о смерти вологодская газета «Красный Север» поместила на первой странице, что свидетельствует о том, что новые власти пытались отдать должное общественному деятелю, известному не только на местном, но и на общероссийском уровне.