У Александра Зарудного было семеро братьев и сестёр, в том числе:
Окончил Училище правоведения (1885), начал служебную деятельность помощником секретаря Петербургского окружного суда. В апреле 1887 был арестован вместе с младшим братом Сергеем по делу о покушении на Александра III, при обыске у него была найдена нелегальная литература. Неделю провёл в доме предварительного заключения, затем освобождён из-за недостатка улик (следствие не смогло доказать ни его связей с террористами, не намерения распространять найденную литературу). В результате ему было вменено в наказание пребывание под стражей.
В 1887—1888 находился в заграничном отпуске. В 1888—1891 работал в министерстве юстиции. С 1891 служил в органах прокуратуры в провинции (Кременчуг, Полтава, Петрозаводск), в 1895—1900 — товарищ прокурора Петербургского окружного суда. Его коллеги по прокуратуре С. В. Завадский отмечал честность и высокую эмоциональность Зарудного:
В 1900—1902 служил в юрисконсультской части министерства юстиции. Завершил службу в чине статского советника, был награждён орденами св. Станислава 2-й степени и св. Анны 3-й степени.
С 1902 — присяжный поверенный Петербургской судебной палаты. Принадлежал к так называемой «молодой адвокатуры», занимавшейся политической защитой в разных городах России и оппозиционно настроенной по отношению к царскому режиму. Участвовал в защите обвиняемых по таким громким делам как процессы якутских ссыльнопоселенцев (1904; «романовское дело» — о вооружённом протесте против действий администрации), Боевой организации эсеров (1905), лейтенанта П. П. Шмидта и других участников восстания на Черноморском флоте (1906), Петербургского совета рабочих депутатов (1906), о подготовке покушения на Николая II (1907). Кроме того, участвовал в «литературных процессах», защищая писателей, издателей, журналистов, привлекавшихся к ответственности за критику существовавших порядков. Во время «романовского дела» доказывал законность неповиновения незаконным действиям властей, рассматривая такой протест как необходимую оборону. В своей защитительной речи фактически солидаризировался со своими подзащитными:
Особую известность Александр Зарудный как адвокат получил во время «дела Бейлиса» в 1913. По словам адвоката А. А. Демьянова, Зарудный
Также Демьянов вспоминал, что
По словам юриста Б. С. Утевского,
С марта 1917 Зарудный участвовал в деятельности Трудовой группы, в июле того же года объединившейся с народными социалистами в Трудовую народно-социалистическую партию. В марте 1917 был назначен товарищем министра юстиции, активно участвовал в деятельности Комиссии по пересмотру Судебных уставов 1864, задачей которой был возврат законодательства к либеральным традициям судебных реформ. В июне того же года ушёл в отставку. Входил в состав группы специалистов Особого совещания Временного правительства по подготовке проекта Положения о выборах в Учредительное собрание, в июле 1917 в течение нескольких дней был старшим председателем Петербургской судебной палаты.
Входил в третий (второй коалиционный) состав Временного правительства как представитель Трудовой народно-социалистической партии. Курировал следствие по делу членов партии большевиков, обвиненных в государственной измене, организации восстания и шпионаже в пользу Германии. Настаивал на скорейшем аресте скрывшегося от следствия В. И. Ленина, однако большой активности в борьбе с большевиками не проявлял. Во время его руководства министерством были освобождены из-под стражи Л. Б. Каменев, А. В. Луначарский, А. М. Коллонтай и другие видные деятели большевистской партии. Дал военному министру и министру внутренних дел разрешение на время войны не допускать и закрывать собрания и съезды, которые могли представлять опасность в военном отношении. Из-за своей эмоциональности вступал в конфликты с подчинёнными. По словам А. А. Демьянова,
После отставки с поста министра, в сентябре 1917 участвовал в Демократическом совещании, выступал с критикой слабости Временного правительства, был сторонником коалиции социалистических и либеральных политических сил, демонстрировал своё неприятие личной власти, в том числе и своего давнего друга А. Ф. Керенского. Искренняя и лишённая политического расчёта речь Зарудного была использована большевиками для критики в адрес Временного правительства.
В советское время Зарудный отошёл от политической деятельности. Был членом Президиума коллегии адвокатов в Ленинграде и юрисконсультом ленинградского отделения Всесоюзного общества политкаторжан и ссыльнопоселенцев. Участвовал в защитах по уголовным делам. Занимался педагогической деятельностью, читал лекции на историко-революционные и юридические темы в различных городах страны. В 1933 по ходатайству Общества политкаторжан ему была назначена персональная пенсия.