Родился в семье любителей музыки, где все пятеро детей с детства учились играть на различных инструментах, и практически все стали впоследствии профессиональными музыкантами (брат — Сергей Яковлевич Мадатов — скрипач, концертмейстер Большого театра, Нина Яковлевна Мадатова — пианистка, профессор Бакинской консерватории). Первые уроки музыки получил у своей матери, хорошо игравшей на фортепиано. Отец подарил мальчику флейту, и он её сам освоил.
По окончании гимназии, учился в Бакинском коммерческом училище, где играл в школьном оркестре. Параллельно учился в музыкальной школе на флейте у преподавателя Шефлинга. В 1914 г. взял несколько уроков у В. Н. Цыбина, который находился в Баку проездом на гастролях оркестра.
Вскоре поступил в Петербургскую консерваторию в класс В. Н. Цыбина, с 1916 г. учился у В. Кречмана в Московской консерватории.
С 1919 по 1937 гг. — солист Азербайджанского театра оперы и балета и преподавал в Бакинской консерватории. С 1936 г., года основания, — директор Бакинской филармонии. С 1937 г. — солист симфонического оркестра Грузии. В Тбилиси также занимался организацией концертов и приобрёл репутацию блестящего администратора. За его активную творческую и организаторскую деятельность в Грузии в те годы, был удостоен звания «Заслуженный деятель искусств Грузинской ССР».
С 1944 г. переехал в Москву, где стал солистом Большого симфонического оркестра Всесоюзного Радио и преподавал в учебных заведениях им. Гнесиных (академии, школе и училище). Среди учеников в частности Марина Ворожцова, Надежда Селезнёва и др.
Играл на деревянной (из эбенового дерева) флейте Otto Moritz M?nnig, в Москве был известен его полный, большой — «мадатовский» — звук. Дмитрий Шостакович писал об игре Мадатова:
Исполнял и записывал камерную музыку с Давидом Ойстрахом, Львом Обориным, Верой Дуловой и многими другими известными музыкантами.
В сотрудничестве с Юлием Ягудиным выпустил серию сборников пьес педагогического репертуара музыкальной школы из 10 выпусков и репертуара училища из 9 выпусков, куда вошли пьесы зарубежных, русских и советских композиторов. Составитель изданного в начале 50-х годов сборника «Оркестровых трудностей для флейты», в который вошли отрывки симфонических и балетных произведений Чайковского и Глазунова.