Анатолий родился в крестьянской семье. В 1930 году закончил 7 классов. В 1936 году — курсы водителей. Работал трактористом, заведующим гаражом. В 1941 году Анатолий Кайда закончил Полтавское военно-автомобильное училище.
В Красной Армии в 1937—1941 годах и с 1942 года. Участник Советско-финской войны 1939—1940 годов.
Различные источники противоречиво освещают события за которые Анатолий Кайда был удостоен звания Героя Советского Союза.
По версии одних источников Анатолий Кайда, доставив снаряды и еду на соседнюю пограничную заставу, с пятью бойцами заставы принял участие в отражении ночной атаки финских отрядов. Вёл меткий огонь из пулемёта, до отступления финнов.
Согласно свидетельствам других источников группа финских солдат напала на роту, которая охраняла командный пункт штаба полка. В это время поблизости проезжал на тракторе Анатолий Кайда, который вёз боеприпасы и еду бойцам. Финны быстро уничтожили советский пулемётный отряд и продолжили наступление. Анатолий Кайда, увидив это, занял место погибших красноармейцев и открыл огонь. Когда закончились патроны, он вскочил на трактор и направил его на финских солдат, отстреливаясь из ручного пулемёта. После чего красноармейцы перешли в штыковую атаку. Таким образом, атака финских войск была отражена.
Указом Президиума Верховного Совета СССР от 26 января 1940 года «за образцовое выполнение боевых заданий командования на фронте борьбы с финской белогвардейщиной и проявленные отвагу и геройство» красноармейцу Кайде Анатолию Григорьевичу присвоили звание Героя Советского Союза с вручением ордена Ленина и медали «Золотая Звезда» (№ 315).
С 1944 года Анатолий Кайда старший лейтенант запаса, а затем в отставке.
После войны жил в городе Херсоне. До 1962 года работал на различных предприятиях.
Умер 26 мая 1997 года.