Направлениями научных исследований О. Г. Виленского являются клиника шизофрении, особенно её ипохондрической и вялотекущей форм, сочетание шизофрении c эпилепсией, последствия закрытых черепно-мозговых травм, хронический алкоголизм, проблема стресса, психиатрическая врачебно-трудовая экспертиза.
В своих трудах профессор Виленский придерживался концепции о том, что психические расстройства самостоятельны, и нет убедительных доказательств их связи с соматическим состоянием или поражением головного мозга. Он также считал, что все психические расстройства укладываются в схему единого психоза, что существенно облегчает принципы диагностики, экспертизы и лечения психически больных.
Опубликованы более 100 научных работ, в том числе монографии
C 1990 года жил и работал в Иерусалиме.