Родился 29 декабря 1885 года в Выборге, в семье потомственного финляндского дворянина, работавшего техником. Мать — шведская баронесса. В детстве отец Гаральда нередко менял работу, поэтому часто случались переезды; с 1893 года семья обосновалась в Санкт-Петербурге, где Гаральд получил начальное образование. После окончания гимназии в 1898 году поступил в Морской кадетский корпус. В летнюю кампанию 1900 года совершил первое учебное плавание на судне «Моряк», а в следующие две кампании регулярно выходил в море на крейсере I ранга «Князь Пожарский» и учебном судне «Верный». В 1903 году произведён в старшие гардемарины.
С началом Русско-японской войны произведён в числе сверстников в мичманы и определён служить на Балтийский флот. В декабре 1904 года Гаральд Карлович Граф получил назначение на транспорт «Иртыш» Второй Тихоокеанской эскадры. Во время длительного похода исполнял обязанности ревизора и познакомился с П. П. Шмидтом.
В Цусимском сражении «Иртыш» получил тяжёлые повреждения и был затоплен у берегов Японии; экипаж попал в плен, продолжавшийся семь месяцев.
После возвращения в Россию служил на крейсере «Аврора», затем привлекался для приёма новых миноносцев, построенных во Франции; с 1906 года находился на эсминцах балтийской Минной дивизии, исполняя обязанности вахтенного, а затем — старшего офицера. В 1907-1908 годах прошёл обучение и успешно окончил Минный офицерский класс. В период обучения произведён в лейтенанты.
В 1908 году последовательно занимал должности старшего офицера на эскадренном миноносце «Трухменец» и младшего минного офицера крейсере «Адмирал Макаров». Во время похода в Средиземное море принимал участие в спасательных работах после землетрясения в Мессине.
1 мая 1909 года назначен старшим минным офицером на минный заградитель «Амур». На этом корабле сумел наладить чёткое действие системы постановки мин заграждения и подготовить должным образом личный состав, заслужив самые лестные отзывы непосредственных начальников.
27 сентября 1909 года состоялась свадьба Г. К. Графа, а спустя год у Нины Викторовны Граф родилась дочь Лидия. После этого Г. К. Граф преподавал в Минной школе и работал в Николаевской военно-морской академии.
С 11 августа 1914 года — младший минный офицер эсминца «Новик». В 1915 году Г. К. Граф был назначен старшим минным офицером и получил чин старшего лейтенанта, а в следующем году стал старшим офицером «Новика». Участие Гаральда Карловича в боевых действиях отмечено наградами: орденами Святого Станислава 2-й степени с мечами (1914 год), Святого Владимира 4-й степени с мечами и бантом (1915 год), Святой Анны 2-й степени с мечами (1916 год).
В феврале 1917 года назначен Флагманским минным офицером штаба начальника Минной обороны и вскоре произведён «за отличие» в чин капитана 2-го ранга. Вскоре после прихода к власти большевиков покинул флот и остался в Гельсингфорсе, став гражданином Финляндии. После смерти первой жены в 1917 году вторично женился в 1919 году. Гаральд Карлович принял некоторое участие в белой борьбе на Северо-Западе, после поражения Юденича вслед за великокняжеской семьёй Кирилла Владимировича Г. К. Граф перебрался в Германию. Там он издал воспоминания о службе в русском флоте и вскоре занялся писательской деятельностью.
В эмиграции принял православие и получил имя Георгий. В 1924 году Георгий Карлович Граф становится начальником канцелярии и личным секретарём Великого князя Кирилла Владимировича, который обнародовал манифест о принятии им императорского титула. До начала Второй мировой войны состоял при Великом князе; в 1930 году Графу было присвоено звание капитана 1-го ранга, а в 1939 — контр-адмирала.
23 июня 1941 года Г. К. Граф был арестован гестапо во Франции и на 14 месяцев помещён в концлагерь «Фронтсталаг» под городом Компьен. После окончания войны Георгий Карлович поселился в США, где скончался 11 октября 1966 года.