Родился в 1826 году в семье могилёвского купца-еврея Мофита Шейна. Слабый от рождения, перенесший в раннем детстве несколько серьёзных болезней, вследствие которых он остался калекой на всю жизнь, мальчик не мог окончить даже еврейской школы и учился почти самостоятельно, пользуясь советами меламеда, дававшего уроки его младшему брату. Под влиянием учителя «берлинера» («либерала»), будущий этнограф заинтересовался древнееврейским языком (познакомился с грамматикой) и литературой.
Вследствие изданного в то время закона, ограничившего черту еврейской оседлости, отец Шейна не мог подолгу оставаться в Москве, с которой у него были торговые сношения. В 1843 г. он поместил сына в одну из городских больниц города Москвы (Ново-Екатерининскую); а так как больничные правила разрешали больным инородцам не пользоваться общим столом, то отец оставался при сыне для приготовления ему кошерной пищи. Здесь Шейн провёл три года. Один еврей из кантонистов выучил мальчика говорить и читать по-русски, доставал ему от студентов произведения русских писателей; ординаторы-немцы обучили его немецкому языку, и вскоре он познакомился с лучшими немецкими поэтами. К этому времени относятся первые писательские опыты Шейна. В подражание немецким поэтам он сочинял стихи на идише, проводя взгляды, примиряющие еврейство с христианством. Последствием этого знакомства был вполне сознательный переход Шейна в лютеранство, оторвавший его навеки от семьи и среды. Поступив в сиротское отделение лютеранской церкви св. Михаила, он оказал такие успехи, что по окончании школы сам мог преподавать русский язык в подготовительном отделении.
Сближение его с учителем Ф. Б. Миллером дало толчок культурным стремлением Шейна; он вступил в кружок живших в Москве писателей и художников (Ф. Глинка, М. Дмитриев, Раич, Рамазанов, Авдеев и др.), затем познакомился с Шевыревым, Аксаковым и Хомяковым, научившими его понимать и ценить произведения народного творчества. Сношения с писателями прерывались в 1851—1860 годах поездками Шейна по средней России; здесь он давал уроки в семьях помещиков, знакомился с русским крестьянином и, поддавшись всеобщему увлечению народной литературой, сам стал собирать песни, сначала в Симбирской губернии. Бодянский предложил ему опубликовать этот материал, и к 1859 г. относится первый печатный труд Шейна: «Русские народные былины и песни» («Чтения в Обществе Истории и Древностей», кн. III, 121—170 с.).
Дальнейшая жизнь Шейна полна скитаний, материальных невзгод и семейных неудач; он преподавал в воскресной школе в Москве, затем в Яснополянской школе Л. Толстого, в уездных училищах (1861—1881 годы) в Туле и Епифани, наконец, получил место в витебской гимназии, затем в Шуе, Зарайске, Калуге и т. д.
Одновременно с этим шло собирание этнографических материалов. Шейн работал почти один, поддерживаемый незначительными субсидиями академии наук (с 1871 года он работал в Русском географическом обществе), а впоследствии пенсией от министерства финансов. В 1890-х гг. Шейн имел возможность собирать этнографические материалы не только лично, но и при посредстве нескольких корреспондентов, в основном учителей, которых учил приёмам записывания и для которых составил программу. Среди них были Адам Богданович, Евфимий Карский, Юлиан Крачковский, Янка Лучина. В «Виленском Вестнике» за 1877 г. он напечатал приглашение к содействию ему в собирании памятников народного творчества, встреченное сочувственно. С 1876 г. по 1900 г. на страницах издававшегося Всеволодом Миллером «Этнографического обозрения» Шейн печатал свои заметки и статьи.
В 1881 году вышел в отставку и поселился в Петербурге. По поручению Я. Грота с 1886 г. участвовал в составлении академического словаря русского литературного языка. Ввёл в него народную фразеологию.
Умер 12 (25) августа 1900 года в рижской городской больнице. Похоронен на немецком кладбище в Риге.
Лучшая биография Шейна написана В. Миллером («Этнографическое Обозрение», кн. XL VI, с портретом и списком трудов, составленным А. Грузинским; «Русский Филологический Вестник», 1900, № 3-4; «Филологические Записки», 1900, кн. VI, 1-5).
При недостатке филологического образования, благодаря энергии и любви к делу, Шейн мог издать при жизни семь больших книг материалов, обнимающих всю духовную жизнь русского крестьянина, от колыбели до могилы. Сам собиратель называл себя только «чернорабочим» в науке, а свои труды — «крохоборными», что объясняется скорее его скромностью.
Кроме упомянутого раньше труда, появившегося в 1859 г., записи Шейна послужили материалом для первой серии его собрания «Русских народных песен» в 7 частях: песни детские, хороводные, плясовые и беседные, голосовые или протяжные, обрядовые, свадебные и похоронные («Чтения в Обществе Истории и Древностей», 1868, кн. I, II, IV; 1869, кн. I, III, IV; 1870, кн. I; и отдельно, М., 1870). Песни, собранные Шейным, дали материал для статьи Н. И. Костомарова: «Великорусская народная песенная поэзия» («Вестник Европы», 1872, май). Через семь лет вышло в тех же «Чтениях» (кн. III) начало второй серии «Русских народных песен»; но продолжению его не суждено было появиться в свет при жизни собирателя. Здесь предполагалось поместить песни рекрутские, солдатские, былины, исторические, бурлацкие, острожные и духовные стихи. Через несколько лет Шейн задумал издать весь свой разросшийся в несколько томов материал, принятый для напечатания академией наук. Первый выпуск вышел в 1898 г. под заглавием «Великорус в своих песнях, обрядах, обычаях, верованиях, сказках, легендах и т. п.»; второй вышел после смерти собирателя, в 1900 г. Для второго тома была намечена следующая программа: песни исторические, преимущественно военного характера, кончая Крымской кампанией, рекрутские, казацкие, бурлацкие, извозчичьи, воровские, разбойничьи, ссыльнокаторжные, затюремные и чернеческие, духовные стихи, заводские, фабричные, лакейские и т. д.
В связи с собиранием народных песен шло у Шейна изучение прозаических народных произведений и говоров. Записи его по этому предмету вошли целиком в «Материалы для изучения быта и языка русского населения Северо-западного края» (т. I, ч. 1, 1887 г., ч. 2, 1890; т. II, 1893), где нашли себе место сказки, анекдоты, легенды, предания, воспоминания, пословицы, загадки, приветствия, пожелания, божба, проклятия, ругань, заговоры, духовные стихи и т. д. Смерть застала Шейна за корректированием III тома его «Материалов», которые вышли в «Сборнике» академии наук (т. LXXII); он состоит из двух больших отделов: I. Описание жилища, одежды, пищи, занятий, препровождения времени, игр, верований, обычного права наследства и проч. II. Обряды и обычаи земледельческие, чародейство, колдовство, знахарство, ведьмарство, лечение болезней, средства от разным напастей, поверья, суеверия, приметы и т. д. Из этих наблюдений и сообщений, обнимающих собой все почти стороны материальной культуры современных белорусов и их интеллектуальной жизни, наиболее ценны в этнографическом отношении следующие отдельные очерки: Рождественские «свята» (щедрый вечер, колядки, святки «вертеп» или «бетлейки», разыгрываемые в лицах сцены и т. д.; стр. 112—154), народные рассказы о «вовкулаках» (стр. 253—257), суеверия, относящиеся к постройке дома (стр. 317—335), подробное описание свадебного ритуала в уездах Мозырском, Слуцком и Новогрудском Минской губернии («Ж. М. Н. Пр.», 1903, июль, 308—309).
Шейн интересовался также мелодиями великорусских и белорусских песен. Напевы песен не записывались им, не знавшим музыки, но с его голоса некоторые записаны были другими лицами. Между прочим, от него узнал Д. А. Агренев-Славянский напев и текст популярной песни «Спится мне, младешенькой», которую Н. Некрасов вставил в третью часть поэмы «Кому на Руси жить хорошо». По словам В. Добровольского, Шейн был мастер петь белорусские песни и особенно хорошо исполнял «Научить тебя, Ванюша, как ко мне ходить» («Смоленский Этнографический Сборник», ч. IV, М., 1903, стр. XIII). Как уроженец Северо-западного края, Шейн интересовался народным творчеством белорусов. Начало собирания белорусских материалов относится к 1870-м годам, когда Шейн жил в Витебске. За эти материалы, когда они были ещё в рукописи, Шейн получил от Русского географического общества в 1873 г. малую золотую медаль, а в следующем году они были напечатаны под заглавием: «Белорусские народные песни, с относящимися к ним обрядами, обычаями и суевериями, с приложением объяснительного словаря и грамматических примечаний» («Записки» того же общества, СПб., 1874) и увенчаны Уваровской премией (рецензия Ореста Миллера в XVIII «Отчете», 54-59).
Шейн составил обстоятельный доклад: «О собирании памятников народного творчества для издаваемого Академией Наук Белорусского Сборника, с предисловием Я. Грота» (СПб., 1886). Из его лингвистических работ замечательны: «Дополнения и заметки к Толковому Словарю Даля» (СПб., 1873; приложение к XXII т. «Записок Академии Наук», № 6) и статьи: «К вопросу об условных языках» («Известия отдела русского языка и словесности Академии Наук», т. IV, кн. I, 1899) и «К диалектологии великорусских наречий» (извлечения из «Сборника сказок и преданий Самарского края» Д. Н. Садовникова; «Русский Филологический Вестник», 1899). Кроме того, Шейн участвовал в пополнении академического словаря русского языка, делая выборки из произведений классиков. Из мелких этнографических и популярных работ Шейна наиболее важны: «Обряд похорон мух и других насекомых» («Труды этнографического отдела», т. IV), «Приговоры и причеты о табаке» (там же, т. VII), «Народная пародия на историческую песню» («Этнографическое Обозрение», кн. XX и XXV), «Женитьба „комина“ и свечки» (там же, кн. XXXVIII), «Об отношении Пушкина к народной песне» («Ежемесячные Сочинения» И. Ясинского, 1899), «Сборник народных детских песен, игр и загадок» (изд. журнала «Детский Отдых», М., 1898), «Вильгельм Маннгардт. Из воспоминаний этнографа» («Этнографическое Обозрение», кн. VI), «Из переписки с И. И. Манжурой» (там же, кн. XX).