Андрей Осипович Карелин родился 4 (16) июля 1837 года в Солдатской слободе (ныне село Селезни) Тамбовской губернии и был внебрачным сыном государственной крестьянки Татьяны Ивановны Карелиной.
В 1847 году он был отправлен в Тамбов учиться иконописи. В 1857 году поступил в Санкт-Петербургскую академию художеств. В это время он начинает заниматься фотографией. В 1863 Карелин получил две малые серебряные медали Академии художеств «За успех в рисовании» за этюд с натуры и рисунок с натуры. В 1864 году он завершил учёбу и был удостоен звания свободного неклассного художника.
В 1865 году он с женой Евгенией Никитичной и детьми Людмилой и Аполлоном переехал из Санкт-Петербурга в Кострому. В Костроме он занимался портретной и церковной живописью, давал уроки живописи. В то же самое время он работал в фотомастерской М. П. Настюкова. В 1866 году при родах умирает жена, оставив сына Андрея. Вскоре Карелин с тремя детьми и второй женой Ольгой Григорьевной, урожденной Лермонтовой (родственницей М. Ю. Лермонтова) переехал в Нижний Новгород. В 1892 году семья проживала на Муковской улице в доме Губина. В Нижнем Новгороде у них родилось трое детей: Ольга, Татьяна, Рафаил.
В Нижнем Новгороде он открыл свою рисовальную школу и преподавал в ней до 1905 года. В 1869 году, Карелин открыл свою фотомастерскую «Фотография и живопись».
В 1870 году Карелин вместе с живописцем И. И. Шишкиным создал альбом «Нижний Новгород». На Нижегородской ярмарке он открыл свой павильон и постоянно работал в нём.
В 1873 году он принял участие в VI Всемирной выставке художественной фотографии в Вене.
В 1876 году за портреты и этюдные фотографии с натуры на Специальной выставке французского фотографического общества в Париже он был награжден Большой серебряной медалью. Кроме того получил бронзовую медаль на Всемирной международной выставке в Филадельфии, посвященной 100-летию освобождения североамериканских Соединенных штатов, а на Специальной выставке Эдинбургского фотографического общества он был награждён дипломом и золотой медалью Королевской академии в Эдинбурге.
В 1878 году Карелина приняли в члены Французской национальной академии искусств. Он был награждён дипломом Французского фотографического общества и золотой медалью на VIII Всемирной выставке в Париже.
В 1879 году император Александр III пожаловал его золотой медалью для ношения на шее на Станиславской ленте «за полезное участие в Парижской Всемирной выставке», кроме того, он был награждён почётным дипломом Национальной Академии сельского хозяйства, мануфактуры и коммерции за ранее полученные награды первой степени в Париже.
В дальнейшем он неоднократно удостаивался высоких наград на различныых выставках. В 1886 году выпустил фотоальбом «Виды Нижнего Новгорода». В 1887 году возле Юрьевца он сумел сделать серию фотографий полного солнечного затмения.
В 1898 году изготовил диапозитивы для демонстрации в школах с помощью «волшебных фонарей».
Карелин был избран членом большого числа различных обществ: от Нижегородского общества любителей художеств до Императорского общества любителей естествознания, антропологии и этнографии.
Андрей Осипович Карелин скончался 12 августа 1906 года и был похоронен на кладбище Крестовоздвиженского женского монастыря. В связи с ликвидацией данного некрополя в 50-х гг. 20 века прах А.О. Карелина был перенесен на Бугровское кладбище.