Начал обучаться в музыкальной школе (ныне ДМШ имени Игумнова) по классу скрипки, однако под впечатлением от посещения в 1926 году концерта Андреса Сеговии в Большом зале Московской консерватории принял решение посвятить себя гитаре.
В 1930 году поступил в музыкальный техникум имени Октябрьской революции в класс гитары Петра Агафошина, параллельно обучался композиции у Николая Речменского и дирижированию у Константина Сараджева, у Агафошина же затем учился в Московской консерватории на курсах повышения квалификации.
Творческая карьера Иванова-Крамского началась в 1932 году, когда он впервые выступил на Всесоюзном радио. В дальнейшем работал в Малом театре, в 1939—1945 руководил Ансамблем песни и пляски НКВД СССР, с 1946 по 1952 — оркестром народных инструментов Гостелерадио.
В 1939 году получил вторую премию на Всесоюзном конкурсе исполнителей на народных инструментах. В качестве дирижёра и исполнителя записал более 40 грампластинок, часто выступал в ансамбле с певцами, в числе которых — Надежда Обухова, Иван Козловский, Александра Яблочкина, а также в ансамблях со струнными квартетами имени Бетховена и имени Комитаса, Леонидом Коганом, Александром Корнеевым и другими выдающимися музыкантами.
В 1960 году по инициативе Иванова-Крамского класс шестиструнной гитары был открыт в музыкальном училище при Московской консерватории. Среди его учеников — Николай Комолятов, Феликс Акопов и другие известные гитаристы.
Иванов-Крамской — автор более пятисот сочинений для гитары: двух концертов, сонат, обработок народных песен, многочисленных пьес. Его музыка также звучит в фильме «Несрочная весна».