Родился 28 июня 1889 года в Чернигове в семье врача Давида Ильича Тамаркина и Софьи Красильщиковой из семьи зажиточного еврейского землевладельца. Окончил 2-ю гимназию Санкт-Петербурга, где учился в одном классе с А. А. Фридманом (вместе с которым в 1906 году опубликовал свою первую научную статью). Учился на физико-математическом факультете Санкт-Петербургского университета, по окончании которого был оставлен при нём для подготовки к профессорскому званию.
Преподавал в Институте инженеров путей сообщения, в Электротехническом и Политехническом институтах. В 1917 году защитил диссертацию.
В 1919 женился на Елене Георгиевне Вейхард. В 1919—1920 годах — профессор Пермского университета. Выполнял также обязанности декана физико-математического университета.
В 1920—1925 годах — заведующий кафедрой математики Петроградского политехнического института. Весной 1924 года Тамаркин был на 1-м Международном конгрессе по прикладной математике в Дельфте, а в августе 1924 г. ездил вместе с большой группой советских математиков, в числе которых были А. С. Безикович и Я. В. Успенский, на Международный конгресс математиков в Торонто (Канада).
В США с 1925 года. Преподавал в Дартмутском колледже, в качестве приглашённого профессора. С 1927 года — профессор Брауновского университета в штате Род-Айленд. В 1942—1943 годах — вице-президент Американского математического общества. Член Американской математической ассоциации, член Академии искусств и науки США. Создал свою научную школу, подготовил более двух десятков докторов наук.