Родился 18 ноября 1809 года в Пернове, происходил из дворян Лифляндской губернии.
Образование получил в Главном инженерном училище, из которого выпущен 26 ноября 1828 года прапорщиком в инженерные войска. В 1829 году окончил офицерские классы при этом училище.
В 1831 году принимал участие в подавлении восстания в Польше.
В 1849 году находился в Венгерском походе, за отличие произведён в подполковники.
19 января 1853 года назначен командиром 1-го сапёрного батальона, 11 апреля следующего года получил чин полковника. Во время Крымской войны находился в составе войск, прикрывавших побережье Балтийского моря от возможной высадки англо-французов.
23 октября 1861 года назначен командующим 1-й сапёрной бригадой и 25 декабря того же года произведён в генерал-майоры с утверждением в занимаемой должности. В 1867 году ему был пожалован майорат в Царстве Польском с ежегодным доходом в 1500 рублей, 24 ноября 1869 года Ульрих был произведён в генерал-лейтенанты.
С марта 1871 года Ульрих был исправляющим должность коменданта Брест-Литовской крепости и вскоре утверждён в должности, 3 февраля 1877 года назначен комендантом Варшавской Александровской цитадели. В 1880 году получил знак отличия за L лет беспорочной службы. 15 мая 1883 года произведён в инженер-генералы и уволен от должности с зачислением в запас инженерного корпуса.
Скончался 9 января 1884 года в Варшаве.
Среди прочих наград Ульрих имел ордена:
Его младший брат Василий, также начинавший службу в инженерных войсках, впоследствии был Эстляндским гражданским губернатором, затем состоял при Министерстве внутренних дел и закончил службу в чине генерала от инфантерии.