3D для всех? Magic3D от Nvidia может создавать 3D-модели из текста

В пятницу исследователи из Nvidia объявили Магия3DМодель ИИ, которая может генерировать 3D-модели из текстовых описаний. После ввода подсказки типа «Синяя лягушка-дротик сидит на кувшинке» Magic3D создает трехмерную модель сетки с красочными текстурами примерно за 40 минут. С модификациями полученную модель можно использовать в видеоиграх или художественных сценах компьютерной графики.

в этом Академическая статьякадры Nvidia Magic3D в ответ на Слияние мечты, модель преобразования текста в 3D, анонсированная исследователями Google в сентябре. Подобно тому, как DreamFusion использует модель преобразования текста в изображение для создания 2D-изображения, которое затем масштабируется. нерф (поле нейронного излучения), Magic3D использует двухэтапный процесс, который берет грубую модель, созданную с низким разрешением, и уточняет ее до более высокого разрешения. По словам авторов статьи, полученный в результате метод Magic3D может создавать трехмерные объекты в два раза быстрее, чем DreamFusion.

Magic3D также может выполнять мгновенное редактирование 3D-сеток. Учитывая векторную 3D-модель с низким разрешением, можно изменить текст, чтобы изменить результирующую модель. Кроме того, авторы Magic3D демонстрируют сохранение одной и той же темы в нескольких поколениях (эта концепция часто называется согласованностью) и применение стиля 2D-изображения (например, кубистической картины) к 3D-модели.

Nvidia не публиковала никакого кода Magic3D в своей академической статье.

Возможность генерировать 3D из текста кажется естественным развитием существующих моделей распространения, которые используют нейронные сети для синтеза нового контента после обширного обучения на наборе данных. Только в 2022 году мы стали свидетелями появления моделей, способных преобразовывать текст в изображение, например ДАЛЛ-Э И стабильный спред и примитивные генераторы преобразования текста в видео от Google И мета. Google также запустила вышеупомянутую модель преобразования текста в 3D DreamFusion пару месяцев назад, и с тех пор Подобные методы были адаптированы Работать с ним как с открытой моделью на основе Stable Diffusion.

Что касается Magic3D, исследователи надеются, что он позволит любому создавать 3D-модели без специальной подготовки. После доработки полученная технология может ускорить разработку видеоигр (и виртуальной реальности) и в конечном итоге может найти применение в спецэффектах для кино и телевидения. Ближе к концу своей статьи они пишут: «Надеюсь, с помощью Magic3D мы сможем демократизировать 3D-композитинг и раскрыть творческий потенциал каждого в создании 3D-контента».