Зачем смотреть на реальность, если вы можете изменять то, что видите в реальном времени?

Принятие дополненной реальности происходит медленно, но верно, и легко увидеть одно потенциальное будущее этой технологии: устройства, которые позволяют редактировать то, что вы видите в реальном времени, заменяя объекты вокруг вас виртуальными наложениями. Если точнее, назовите это смешанной реальностью.

Недавнее исследование команды искусственного интеллекта в Porsche (да, автопроизводителей — мы вернемся к этому чуть позже) показывает, как это может работать. Команда создала файл Система ИИ под названием TransforMR Он обнаруживает такие вещи, как автомобили и людей, удаляет их, а затем заменяет их альтернативами CGI в реальном времени. Конечные результаты безупречны (модификации случайны, а модели CGI выглядят так, как будто они были заимствованы у них. 3D Movie Maker) Но концепция замечательная. Нетрудно представить себе, что подобные приложения станут популярными в ближайшие десятилетия.

Сказал, что команда за работой край что хотя отдельные элементы их работы были сделаны раньше, композитная система нова. TansforMR может работать на обычных смартфонах и планшетах, но для отправки данных в облако требуется соединение 4G. Изображения обрабатываются таким образом, что объекты не только закрываются, как в случае с объективами Apple Snapchat AR или Memoji, но и полностью редактируются. Объекты обнаруживаются, разделяются, затем «раскрашиваются» (заменяются фоном, созданным ИИ), и модель CGI заменяется исходной.

Понятно, что есть много областей, которые нуждаются в улучшении. Частота кадров при некачественной покраске составляет всего 15 кадров в секунду; Разница составляет от 50 до 100 миллисекунд; Да и альтернативы CGI не самого лучшего качества. Но команда, стоящая за системой, говорит, что эти аспекты относительно легко улучшить.

«Основное ограничение заключается в том, что большие изображения требуют интенсивного использования компьютера», — сказал Мухаммед Кэри, исследователь машинного обучения в Porsche. край. «Итак, для рисования внутри компании мы в настоящее время делаем это с очень маленькими изображениями, работая с изображением 512 × 512. Но пропускная способность [usage] Это ничтожно мало. Если вы умеете пользоваться FaceTime, вы можете делать TransforMR ».

По словам Кэри, ключевым компонентом системы является использование ситуационного обнаружения. Это означает, что, например, когда система обнаруживает человека, она определяет 18 отдельных суставов в теле. Это означает, что подстановка CGI может быть связана с перемещением цели в реальном времени. Кэри сравнивает это с другими системами дополненной реальности, которые просто отмечают геометрические поверхности.

Глядя на клипы TransforMR в действии, нетрудно представить, как можно встроить такое программное обеспечение в очки дополненной реальности. Пользователи могут выбрать «тему» ​​для своего дня, заменив автомобили, здания и людей альтернативами научной фантастике или предметами, взятыми из природы. Но, как отмечает Кэри, это повлечет за собой серьезную проблему с оборудованием. Современные очки AR могут отображать на линзах только полупрозрачные накладки с низким разрешением. На данный момент у нас нет технологии, позволяющей «изменять» то, что пользователи видят на устройствах этого типа. (Хотя это предполагается сделать с файлом Система виртуальной реальности «Транзит», где камеры от первого лица воспроизводят видеопоток в реальном времени на экранах, которые полностью закрывают обзор пользователя.)

«Мы воспроизводим на экране все изображение, поэтому можем удалить все, что захотим, но с очками дополненной реальности удаление объектов затруднено, потому что это добавляет яркости свету», — говорит Кэри. Например, в HoloLens вы ищете с помощью Стекло, поэтому снимать вещи сложнее. Этот вопрос открыт для исследования «.

Но зачем Porsche вообще исследовать этот вид технологий? По словам одного из инженеров ИИ компании, Тобиаса Гроссе-Пуппендала, все дело в улучшении впечатлений пассажиров и водителей. «Будущие версии TransforMR могут быть использованы для развлечения людей, когда они застряли в пробке», — говорит Гросс-Пуппендаль. край. «Наш главный вопрос заключался в том, как мы можем изменить реальность в увлекательной и увлекательной форме, чтобы взаимодействовать с ней? Отсюда и возникла наша идея».

Другие исследовательские проекты Porsche следуют аналогичной теме. Например, компания также построила профиль Прототип системы под названием SoundRide Он использует автоматическое зрение автомобиля, чтобы обнаруживать изменения в пейзаже и воспроизводить соответствующую музыку. «Может быть, например, вы едете через Альпы, едете по красивой дороге, и внезапно у вас открывается прекрасный вид, и, возможно, музыка меняется», — говорит Кэри. «Мы думаем о том, как технологии могут сделать поездку в автомобиле более интересной и красивой». Это означает манипулирование тем, что люди видят и слышат.