Что такое виртуальные игры
Как VR и AR захватывают мир (и у них не очень получается)
Мы запускаем серию материалов о дополненной и виртуальной реальности. Расскажем ключевое об этих технологиях в трех самых распространенных сферах: играх, медицине и рекламе. Начнем с развлечений и с того, как все начиналось.
AR (Augmented reality) — технологии дополненной реальности. Они совмещают отображение действительности и элементы компьютерной графики. Реальность может быть как дополнена, так и замаскирована. Все изображения трехмерны, пользователь может активно влиять на процесс в режиме реального времени. Это происходит на экране смартфона, либо в специальных очках и шлемах. Вы наводите смартфон на свой стол и видите фантастическое животное, которое уселось на нем. Или гуляете по Арбату, а там медведь с балалайкой от «Яндекс.Карты».
VR (Virtual reality) — технологии виртуальной реальности. Их результат — полностью смоделированный опыт, который может быть похож на реальный мир, а может полностью отличаться от него. Человек надевает шлем или очки, наушники и полностью погружается в новую действительность. Джунгли, космос, что угодно — в пределах фантазии разработчиков. Человек может виртуально перемещаться, взаимодействовать с виртуальными функциями и объектами. Делать это можно с помощью контроллеров, либо специальных перчаток. Для более полного погружения используют VR-костюмы. Существуют и целые VR-комнаты, которые можно найти в некоторых развлекательных центрах и университетах (например, в МГУ).
Исторически VR и AR были одним направлением. Термин «дополненная реальность» появился в 1990-м году, а понятие виртуальной среды в ходу с 1959-го. «Виртуальная реальность» была так названа сначала научными фантастами, а потом раскручена предпринимателями в 1980-х.
Какое событие считать первым в истории виртуальной реальности? Об этом спорят. Мы считаем таковым разработку устройства Sensorama. Американский режиссер Мортон Хейлиг в 1950-х годах представил свою концепцию «Театр опыта». Идея была в том, чтобы создать кинотеатральное пространство, которое охватит все чувства человека и даст ему возможность влиять на процесс. В 1962-м году Хейлиг презентовал Sensorama — устройство со стереодисплеем, распылителями ароматов, вентиляторами, стереозвуковой системой и подвижным креслом. Трехмерная кинокартина для Sensorama имитировала поездку на мотоцикле по улицам Бруклина. Зритель чувствовал ветер, вибрацию сиденья мотоцикла, аромат пиццерий и закусочных, запах бензина. Однако Хейлиг не смог найти инвестиции для дальнейшего развития проекта. Устройство было дорогим, крупногабаритным и за один раз могло быть использовано только одним человеком. А преимущества перед обычным кино не очевидны. Кроме Sensorama, Хейлиг запатентовал «Телесферную маску». Это было индивидуальное устройство для просмотра кино с ощущением реальности: с запахами, «воздушным бризом», стереозвуком и обзором на 360 градусов.
НАСА и ЦРУ узнали о виртуальности и заинтересовались ей после презентации уже другого устройства, спустя несколько лет. Профессор Гарварда Айвен Сазерленд вместе со своим учеником разработал систему «Дамоклов меч». Виртуальная среда представляла собой трехмерную модель комнаты. Очки с дисплеем были тяжелыми и крепились к потолку, чтобы их было удобно надевать.
Где военный и космический бюджет, там и хорошие инвестиции. В 1970-х начала формироваться индустрия виртуальной реальности. Она поставляла устройства для моделирования полетов, военной подготовки, медицины, автомобильной промышленности.
По заказу Министерства обороны США художник Дэвид Эм разработал приложение для быстрого виртуального ознакомления с новыми территориями. Первая экспериментальная карта была создана для американского города Аспен. Можно было выбрать время года, зайти в любое здание, рассмотреть детали, включить интервью с людьми. Увидеть не только реалистичную, но и абстрактную визуализацию города. В верхней части кадра — навигационная карта. Как мы знаем сейчас, все эти возможности со временем перекочевали в игровую индустрию.
В 1980-е VPL Research разработала оборудование, уже близкое современному, — очки EyePhone и перчатку DataGlove. Создатель VPL Джарон Ланье сделал популярным само название «виртуальная реальность». А технологии из сферы научных и военных разработок пришли в бизнес, развлечения, к людям.
AR отпочковалась в отдельное направление в 1990-м. Впервые использовал такое название исследователь компании «Боинг». А первая профильная разработка появилась в лаборатории ВВС США в 1992-м. Это было устройство Virtual Fixture с экзоскелетом, очками и наушниками, разработанная Луисом Розенбергом. С помощью этого человек мог управлять техникой на расстоянии, видя ориентиры и подсказки для выполнения задач: направляющие линии, барьеры, поля.
Разработки игр с VR и AR начались в те же 1990-е. В 1993-м Sega презентовала консоль Genesis. Выглядело это стильно и супер современно. Однако устройство так и не вышло в продажу. Во время предварительных показов стало очевидно, что у людей кружится голова и начинается тошнота во время игры. На тот момент еще не была изучена проблема укачивания в виртуальной реальности и разработчики не знали, как это предотвратить.
В 2000-м вышла AR-версия игры Quake. Теперь можно было преследовать чудовищ по реальным улицам городов! Правда делать это нужно было в шлеме с датчиками и камерами, с мобильным компьютером за спиной. Игра так и не стала популярной, в том числе из-за громоздкого оборудования, которое странно выглядело со стороны.
А в 2012-м стартап Oculus запустил на платформе Kickstarter кампанию по сбору средств на выпуск нового комплекта для игр виртуальной реальности. Это были VR-очки, гораздо более эстетичные и эргономичные, чем все, что было до этого. Разработчики обещали пользователям «эффект полного погружения» за счет применения дисплеев с высоким разрешением. Необходимые 250 тыс. долларов были собраны за первые четыре часа. А в 2015-м начались предпродажи первого серийного потребительского VR-комплекта Oculus Rift CV1. Первая партия была раскуплена за 14 минут. Это стало символическим началом бума игровых VR-технологий.
В 2014 году Facebook приобрела Oculus VR и сейчас является крупнейшим игроком на рынке. Также выпуском VR-оборудования, игр и ПО занимаются HTC (Vive), Sony (PlayStation VR) и Samsung (Gear VR).
Во многих шлемах появляется поддержка трекинга рук. Разработчики экспериментируют с системами распознавания голоса. Появляются перчатки, в которых пользователь сможет на новом уровне взаимодействовать с виртуальными предметами. Например, теннисный мячик и камень по-разному сжимаются и ощущаются в руке.
Аналитики говорят о том, что рынок VR находится в состоянии стагнации. Шлемы и комплекты все еще слишком дороги для большинства людей. Возможно, должны выходить по-настоящему впечатляющие игры, чтобы больше геймеров переходили на VR. Но разработчики не могут выпускать масштабные дорогие проекты, пока не будут уверены, что это окупится.
Поддерживает индустрию в трудные времена существование парков виртуальной реальности, так называемых VRcade или location-based entertainment. Это пространства, где можно арендовать VR-оборудование и поиграть. Люди могут пробовать эту технологию, вовлекаться в нее. Лидер этого рынка – The Void (20 филиалов в США и Канаде).
Как работает VR? Разбор
У VR есть такая особенность. Все, кто попробовал нормальный VR обязательно хотят подсадить на эту тему всех своих друзей и близких. Всё дело в том, что VR — это потрясающие ощущения, о которых невозможно рассказать. Это обязательно надо пробовать самому.
Но VR — это не только крутой опыт. Это еще и крутые технологи, которые какие-то 10 лет назад назвали бы фантастикой, а теперь они доступны нам в домашних условиях.
Сегодня мы расскажем вам про все крутые технологические фишки в современных VR-девайсах. А поможет мне в этом первая в мире модульная VR система — HTC Vive Cosmos Elite.
Трекинг
Как понимаете, подменить нашу реальность на виртуальную — задача непростая. Поэтому в мире VR применяются очень хитрые технологии. И первый интересный набор технологий, который используется в VR шлемах — это трекинг.
К трекингу в современных VR шлемах есть два кардинально разных подхода. Первый называется inside-out tracking или внутренний трекинг. Он работает незамысловато.
На шлеме размещаются несколько камер с широким углом обзора, которые отслеживают ваши контроллеры и положение шлема относительно предметов окружающей среды. А чтобы контроллеры точно были видны — они подсвечиваются. Плюс такого подхода, в том что он дешевый и простой в настройке и использовании.
Такая система трекинга используется в Oculus Rift S и Quest, а также у младшего HTC Vive Cosmos.
Другая система называется Lighthouse, что переводится на русский как маяк. Но проще всего систему назвать внешний трекинг. В ней маяки или базовые станции ставятся друг напротив друга очерчивая вашу игровую зону и поехали.
Сначала первая базовая станция мигает инфракрасным светом. Сразу за ним испускается широкий падающий лазерный луч. Каждое ИК-мигание это начало отсчета. И так 60 раз в секунду.
С момента получения первого мигания шлем и контроллеры начинают отсчет 1,2,3 и так далее. Затем их датчики улавливают лазерный луч. Но из-за смещения датчиков в пространстве один датчик уловит луч на отсчете 3, другой на 5, третий, например, на 11. И как раз базируясь на этой задержке в отсчете от датчиков и рассчитывается положение шлема и контроллеров в пространстве.
Внешний треккинг куда более точный и надежный. Но в начале немного времени придется потратить на установку маяков — я их поставил на штативы, но можно положить на полку или прикрепить к стене.
Такая система используется в Oculus Rift, Valve Index, HTC Vive первой волны, и в текущем HTC Vive Cosmos Elite. Но конкретно с Vive Cosmos есть нюансы.
В самом начале я вам сказал, что Vive Cosmos — это целая модульная экосистема. Которая состоит на данный момент состоит из двух предложений:
В обеих версиях используется один и тот же шлем, но в них используются разные модули. Так в базовой комплектации в шлеме установлена передняя панель с внутренним трекингом. На ней целых шесть камер с широким обзором на 310 градусов. Также в комплекте нет маяков и контроллеры соответственно там для внутреннего трекинга — светящиеся.
А в Elite в комплекте идут все модули для внешнего трекинга. Но весь прикол в том, что меняя модули одну модель можно превратить в другую.
Например, можно проапгрейдиться с младшей модели на старшую. А можно пойти дальше и подключить к старшей модели самые продвинутые контроллеры с трекингом всех пальцев Knuckles от Valve Index. Представляете, они прекрасно будут работать, если вы конечно где-то их найдёте.
Экраны
Следующая важная технология — это экраны. Критичным для экрана в VR является время задержки отображения. OLED-экраны самые быстрые, поэтому с них и началось освоение. Но с ними возникла другая проблема.
Дело в том, что когда вы используете VR шлем, ваши глаза находятся очень близко к дисплеям и крайне важно иметь очень высокое разрешение и плотность пикселей. Поэтому OLED-дисплеи для VR сегодня — не лучший выбор. В OLED диоды находятся на почтенном расстоянии друг от друга и используется PenTile-раскладка. Поэтому такие дисплеи выглядят зернистыми и появляется эффект москитной сетки. В будущем эти проблемы скорее всего решит microLED.
А пока лучший выбор для VR — это именно Super-Fast LCD. По сути, это тот же IPS только быстрый. Именно такой стоит в HTC Vive Cosmos Elite.
Второй важный параметр — это частота обновления она должна быть минимум 80 Гц, а лучше 90 или выше. Сейчас самая высокая частота у шлема Valve Index — 144 Гц, но на практике вряд ли вы найдет компьютер, который может выдавать такой FPS, ведь в VR нужно рендерить две разные картинки одновременно, для левого и правого глаза.
Что мы имеем в Vive Cosmos Elite? Те самые Super-Fast LCD дисплеи, частота обновления 90 Гц и самое высокое на потребительском рынке разрешение 1440 × 1700 пикселей для каждого дисплея, в итоге получается 2880 x 1700 пикселей.
В Valve Index и HTC Vive Pro разрешение немногим меньше — 1440 × 1600, то есть разница всего 100 пикселей в высоту. И кажется что это немного, но в VR-шлеме эта разница ощущается и в том числе играет в пользу угла обзора.
Это третий важный параметр в VR. Тут он 110 градусов благодаря линзам, которые наложены на экран для придания изображению сферической картины, привычной нашему глазу.
Чем больше угол обзора, тем меньше выражается эффект «экранного окна» и мы больше приближаемся к полному охвату человеческого зрения. Более того в HTC Vive Pro был OLED-экран, поэтому переход на IPS (Super Fast LCD) и увеличение разрешения тут очень заметны.
Еще одна крутая технология, о которой хотелось бы рассказать, сейчас есть в профессиональных решениях от HTC. Это система трекинга глаз — Vive Pro Eye и она позволяет реализовать технологию фовеального рендеринга.
Дело в том, что наш глаз видит четко только ту область куда он сфокусирован, все что вокруг он воспринимает чуть размыто. Зная, куда направлен взгляд в тот или иной момент, можно отображать эту область с максимально возможным качеством. А остальную область на экране можно не рендерить в полном качестве. В итоге такой лайфхак дает серьезное улучшение картинки при одинаковом железе. Это очень крутая технология. Сейчас даже научились отслеживать саккады.
Беспроводные технологии
Окей идём, дальше. Как вы считаете, что больше всего мешает погружению в виртуальную реальность. Думаете невысокое разрешение? Нет, это не так. Самое большое ограничение сегодня — провода!
И вот у HTC есть огромный козырь в рукаве. Существует беспроводной набор — VIVE Cosmos Wireless Adapter Attachment Kit. Эта штука работает на особенном стандарте Wi-Fi — 802.11ad. Это не Wi-Fi 6 и не Wi-Fi 5. Стандарт называется WiGig и работает он на частоте 60 ГГц, поэтому скорость фантастическая и нет задержек.
Но самая главная VR-технология — это игры! Поэтому подрубаем всё и играем!
Один из Мифов VR, что не во что играть, а это вообще не так. У HTC есть свой сервис подписки Viveport. Cейчас там 1168 тайтлов, совместимых с Cosmos Elite. При этом 2 месяца подписки вам сразу дают в подарок. Но если сразу с головой пустить в VR, то это безусловно Half Life Alyx!
Поверьте мне, только ради этого одного стоит попробовать VR. Когда я впервые включил Alyx, я минут сорок стоял в первой локации на балконе кидал вниз банки разглядывал все вокруг и просто восторгался.
Многих волнует вопрос укачивания в шлемах виртуальной реальности. Проблема может возникать от нескольких параметров — низкая точность трекинга или например высокая задержка — тут с этим проблем нет. В играх, где вы стоите на месте, например, в том же Beat Saber, я сразу чувствовал себя комфортно!
Но при этом, если вы хотите чувствовать себя как рыба в воде в любом VR мире, вестибулярку придется подучить. Это больше касается моментов, когда ваш персонаж в игре перемещается, а вы стоите или сидите на месте. Именно от этого и возникает конфликт: мозг не понимает, как такое может быть. Поэтому для плавного погружения лучше выбирать режим перемещения «телепорт», а потом плавно пробовать полное перемещение, мне хватило недели, играя час в день, чтобы весь дискомфорт прошел. Потом остается только кайфовать — и это того стоит!
Half Life Alyx отлично подходит для такого обучения — но это всего один проект, который при этом безусловно лучший. Я уверен, что будут появляться проекты еще круче, они уже в разработке.
Другой отличный пример Walking Dead: Sins and Sinners. Но этот проект я не рекомендую людям со слабыми нервами. Ещё есть вирусный Beat Saber, в котором я провел немало часов. В общем и целом, игр хватит не на один месяц игры.
Кстати, чего не хватает во многих шлемах, это связи с внешним миром. В HTC Vive Cosmos можно «открыть забрало» — откинуть экран и посмотреть, что происходит вокруг.
Будущее VR
Но давайте заглянем, куда же будет двигаться в VR в ближайшие годы. Естественно, мы хотим полного погружения в виртуальные миры как в фильме Get Ready Player One или в русском переводе «Первому игроку приготовиться». Поэтому уже сейчас начали появляться VR-костюмы с отдачей, либо их можно собрать самому.
Экосистема Vive Cosmos подразумевает подключение дополнительных модулей, которые можно закрепить на ногах или других частях тела. Это даст вашему аватару еще больше живости. Уже сейчас некоторые энтузиасты используют такие модули для VR-чата и в других социальных VR-платформах. История с Covid только подталкивает это развитие вперед.
Лично я уже посетил несколько VR-ивентов, презентаций, концертов, даже ходил в кино с друзьями. Это целый мир, который появляется и быстро развивается при нас. Мир с безграничными возможностями не только в играх.
Кроме общения вы можете творить в VR, создавая 3D-модели, как скульпторы, архитекторы, аниматоры.
Говоря о кино, Джон Фавро при съемках Маугли активно использовал VR для погружения актеров в мир будущего фильма. И с каждым днем появляется все больше профессионального софта для разных областей. Уверен, что скоро появятся профессии, которые будут существовать только в VR.
Понятно что сейчас VR — это дорогое удовольствие. Шлем HTC Vive Cosmos Elite в России стоит 100 тысяч рублей. При этом можно докупить беспроводной адаптер. Не стоит забывать, что для игр в VR понадобится и еще и мощный ПК.
Порог входа — высокий, но за билет в будущее иногда стоит заплатить, особенно когда хочется попасть туда раньше остальных.
8 фактов про VR, которые вы стеснялись спросить
Содержание
Содержание
Там, где одни в курсе всех технических новинок, другие никак не успевают за прогрессом. Только привыкли, что карточку можно не вставлять в терминал, а тут оказывается, мир вовсю уже гуляет по виртуальной реальности. Если вы слышали что-то классное про VR, но до сих пор не понимаете, что тут к чему — мы ответим на самые популярные вопросы новичков.
Какая разница между очками и шлемом?
Ключевая разница в степени погружения и самой технологии подключения. Очки — это самый простой и довольно доступный способ попробовать виртуальную реальность. Они подключаются к смартфону, вернее последний просто вставляется в очки и транслирует специальный контент через окуляры очков. Очки мобильны, не зависят от компьютера и использовать их можно где угодно. В то же время максимально глубокого погружения ждать не стоит. Очки не отслеживаются в пространстве, а качество контента напрямую зависит от мощности смартфона.
Шлемы VR — это уже тяжелая артиллерия. Они отслеживаются в пространстве с помощью датчиков, транслируют изображение на отдельных дисплеях для глаз и дают полное погружение в цифровое пространство. Они идеально подходят для игр и подключаются напрямую к компьютеру. Стоят, правда, значительно дороже.
Правда, что сильно укачивает?
Не обязательно. Все зависит от вашего вестибулярного аппарата. Укачивания, головокружения — в принципе нормальная реакция для тех, кто впервые надел очки или шлем. Все дело в том, как мозг воспринимает информацию. Ваше тело остается в реальности, в то время как глаза и уши реагируют на виртуальные события. Вы видите, как вокруг все мелькает и бегает, а на самом деле вы сидите или стоите на одном месте и ничего не происходит. Головокружение — что-то вроде защитной реакции мозга, который не понимает, что не так.
Терпеть эти ощущения не стоит. При первых признаках дискомфорта прекращайте сеанс и возвращайтесь к VR позже, когда симптомы полностью пройдут. На начальном этапе выбирайте игры без явного рассинхрона, используйте режимы «телепорта» или «виньетки» и другие настройки, чтобы подстроить игровой процесс под собственные ощущения.
У многих укачивание со временем проходит, но, если вы переживаете и не хотите рисковать покупкой дорогостоящего оборудования — попробуйте для начала походить в салоны виртуальной реальности на несколько сеансов игр или хотя бы недорогие очки со смартфоном.
А вообще противопоказания есть?
Особенно нет. Первое, о чем беспокоятся новички в VR — а можно ли играть с нарушением зрения и что вообще делать, если ты носишь очки. Конечно, сменить очки на линзы в данном случае удобнее. Но сами по себе очки не являются препятствием, просто VR-система надевается поверх.
Как таковых противопоказаний по здоровью для использования VR нет, но имеет значение психическое состояние игрока. При наличии нервных и психических расстройств нужно внимательно отнестись к выбору контента, избегая игр с яркими и особо динамичными сценами, дикими спецэффектами. Ну, и не увлекайтесь слишком сильно виртуальными прогулками, чтобы не грустить по возвращению в суровую реальность.
И что там в этой виртуальной реальности делать?
Что угодно. Кататься на американских горках, гулять со львами по саванне, путешествовать по Марсу, играть в игры, смотреть фильмы в 3D. Все зависит от типа загружаемого контента, которого сейчас уже очень много от обыкновенных роликов до фантастических миров. В очках удобно и приятно смотреть ролики, оптимизированные под VR и играть в простейшие игры для смартфонов. В шлемах можно делать все то же самое, но играть уже «по-взрослому», полностью взаимодействуя с игровым пространством. Да и игры сами будут круче.
Качество контента разнообразно и зависит от разработчиков. Вот, например, как выглядит, нашумевшая Half-Life: Alyx, оптимизированная под VR.
Какой компьютер нужен для шлема VR?
Требования для ПК можно посмотреть в характеристиках самих VR-шлемов.
Например, шлем HTC Vive PRO просит процессор от i5 4590 или FX 8350, от 4–8 ГБ (а лучше все 16) оперативной памяти и видеокарту NVIDIA GeForce GTX 970 или AMD Radeon R9.
В целом, чем мощнее ваши процессор и видеокарта, тем более высокие настройки графики вы сможете выставить в игре.
Очки не имеют никаких специфических требований, потому что сами по себе не являются цифровым устройством. В них все зависит от вашего смартфона. Некоторые модели очков накладывают ограничение только на используемые модели для смартфонов. Например, Samsung Gear VR можно использовать только со смартфонами Samsung и то далеко не со всеми.
Обязательно покупать всю систему VR или шлема хватит?
Для некоторых игр достаточно и одного шлема. Игровые действия можно реализовать с помощью геймпадов, джойстиков или обычной клавиатуры с мышью. Но виртуальные контроллеры дадут вам, во-первых, мобильность, а, во-вторых, то самое, за что так любят VR — погружение.
С наличием полноценной VR-системы и контроллеров «махалок» вы полностью погружаетесь в игру, а контроллеры имитируют ваши руки.
У меня дома мало места — я смогу поиграть?
Конечно. В среднем для комфортной игры достаточно 3 квадратных метров пространства, в которых вы сможете размахивать руками и сделать пару шагов. В игровых настройках вы как правило можете задать периметр игровой зоны, и когда вы в порыве виртуального погружения вдруг начнете за нее выходить — шлем предупредит вас об этом. Также можно использовать реальные ограничители, чтобы вам было проще ориентироваться в пространстве — например, обложиться подушками или одеялами или просто постелить коврик на игровую зону. Лучше всего играть вдали от хрупких и острых предметов, электроники либо накрыть их чем-то мягким.
AR и VR — это одно и то же?
Нет. AR — это augmented reality, «дополненная реальность». Она буквально «накладывает» виртуальные объекты на реальное пространство. Что-то типа нашумевшей игры в покемонов Pokemon GO, только на этом потенциал AR, конечно, не заканчивается. Дополненная реальность активно используется в медицине, военном деле, инженерии, архитектуре и дизайне. смотря на то, что технологии различны, сферы их применения относительно схожи. В VR вы отсекаете реальный мир и полностью погружаетесь в цифровую среду, и она откликается на ваши движения. В AR вы смотрите на реальный мир, но с дополнительными элементами — объекты, разметки, чертежи, подписи, мультимедиа объекты в играх.
Есть, кстати, еще MR — mixed reality, «смешанная реальность», объединяющая AR и VR. Вы как бы полностью ощущаете себя в реальности, но вокруг вас происходит что-то цифровое, и вы взаимодействуете с этими объектами. Ключевое отличие от AR в том, что в дополненной реальности объекты просто накладываются сверху как картинка или голограмма, а в MR они полностью интегрируются в реальную среду, имея физические и пространственные точки соприкосновения с реальными объектами.