Сперри учился сначала три года в государственном педагогическом училище в Кортленде, Нью-Йорк, затем год в Корнелльском университете в 1878—1879, где заинтересовался электромоторами. В начале 1880 переехал в Чикаго, Иллинойс и вскоре основал компанию «Sperry Electric Company». В 1900 Элмер создал электрохимическую лабораторию в Вашингтоне, где он и его партнер К. П. Тауншенд разрабатывали технологию изготовления чистого едкого натра из соли. Вместо этого они создали технологию отделения олова от металлолома.
Он экспериментировал с дизельными двигателями, гироскопическими компасами и стабилизаторами для судов и самолетов. В 1910 начал работу в Бруклине, Нью-Йорке. Его первый компас был проверен в тот же год на военном корабле США «Делавэр» (BB-28). Компасы Элмера и стабилизаторы были приняты флотом Соединенных Штатов и использовались во время обеих мировых войн. В 1918 он создал дуговую лампу высокой интенсивности, которая использовалась в качестве прожектора армией и флотом.
В итоге Сперри зарегистрировал восемь компаний. Оформил более 400 патентов.
Его компании:
Первая модель Сперри была установлена на военном корабле-линкоре США «Делавэр» в 1911.
Компании в конечном счете преобразованы в «Sperry Corporation».
Сперри был также членом-учредителем американского Военно-морского консультационного совета, 1915.
В 1916 Сперри присоединился к Питеру Хьюитту, чтобы проработать самолет Хьюитта-Сперри Отомэтика, одного из первых успешных предшественников беспилотных летательных средств.
В 1929 Институт Франклина наградил его медалью Элиот Крессон.
В его честь названы: