Происходил из старинного немецкого остзейского дворянского рода, перебравшегося в Лифляндию из Силезии в конце XVI века. Отец фон Мекка был чиновником таможенного ведомства и рано умер. Фон Мекк окончил в 1844 г. Санкт-Петербургский институт путей сообщения и поступил на службу дорожным инженером (начальником дистанции Московско-Варшавского шоссе).
В 1860 фон Мекк оставил государственную службу и занялся бизнесом: именно в это время в России, осознавшей после поражения в Крымской войне всю важность железнодорожного транспорта, начались первые попытки строительства железных дорог по частным подрядам. Фон Мекк вступил в Общество Саратовской железной дороги, ставившее своей целью сооружение на частные деньги железной дороги между Москвой и Саратовом; на первом этапе строиться должен был участок Москва—Коломна. Этот участок был построен всего за два года и введён в эксплуатацию, в чём основная заслуга, по мнению современников, принадлежала главному секретарю общества Павлу фон Дервизу и его ближайшему помощнику фон Мекку. Однако на этом средства Общества исчерпались и оно обанкротилось.
Однако уже в 1863 году вместо него было учреждено Общество Московско-Рязанской железной дороги, которое фон Дервиз возглавил уже в качестве председателя Правления — и привлёк фон Мекка к строительству дороги от Коломны до Рязани в качестве главного подрядчика. Дорога была построена за полтора года, быстро вошла в строй и, по мнению современников, принесла фон Дервизу и фон Мекку по гигантскому состоянию: около полутора миллионов рублей прибыли. Затем с той же скоростью и эффективностью фон Дервизом и фон Мекком был построен следующий участок, от Рязани до Козлова.
В дальнейшем фон Мекк принял участие в сооружении еще нескольких железных дорог, но уже без такого головокружительного успеха.
После смерти фон Мекка его дело унаследовала вдова Надежда Филаретовна, больше известная в качестве меценатки, оказавшей неоценимую помощь П. И. Чайковскому, и сыновья, из которых наибольшую роль в развитии российских железных дорог сыграл Николай Карлович.