Nvidia использует TensorRT для расширения доминирования генеративного искусственного интеллекта

Nvidia стремится расширить свое присутствие за пределами продаж графических процессоров, поскольку она внедряет свой комплект разработки программного обеспечения для искусственного интеллекта в большее количество приложений.

Nvidia объявила, что добавляет поддержку TensorRT-LLM SDK в Windows и такие модели, как Stable Diffusion. Компания сообщила в Сообщение блога Они стремятся ускорить работу больших языковых моделей (LLM) и связанных с ними инструментов.

TensorRT ускоряет вывод, процесс просмотра предварительно обученной информации и расчета вероятностей для получения вывода – например, недавно созданного изображения стабильной диффузии. С помощью этого программного обеспечения Nvidia хочет играть более важную роль в разработке генеративного искусственного интеллекта.

Его TensorRT-LLM разлагает LLM и позволяет им работать быстрее на графических процессорах Nvidia H100. Он работает с LLM, такими как Llama 2 от Meta, и другими моделями ИИ, такими как Stable Diffusion от Stable AI. По словам компании, обеспечивая LLM с помощью TensorRT-LLM, «это ускорение улучшает опыт использования более сложных LLM, таких как помощники по написанию и программированию».

Другими словами, Nvidia надеется не только предоставить графические процессоры для обучения и запуска LLM, но также предоставить программное обеспечение, которое позволит моделям быстрее запускаться и работать, чтобы пользователи не искали другие способы сделать генеративный ИИ экономически эффективным. .

Компания заявила, что TensorRT-LLM будет «публично доступен для всех, кто захочет использовать или интегрировать его» и сможет получить доступ к SDK на своем устройстве. расположение.

У Nvidia уже есть монополия на мощные чипы, которые обучают таких мастеров, как GPT-4, а для обучения и запуска одного из них обычно требуется много графических процессоров. Спрос на графические процессоры H100 резко возрос; Ориентировочная цена достигала 40 000 долларов за кусочек. Компания объявила, что в следующем году появится новая версия своего графического процессора GH200. Неудивительно, что выручка Nvidia во втором квартале выросла до $13,5 млрд.

Но мир генеративного искусственного интеллекта развивается быстро, и появились новые способы запуска циклов LLM без необходимости использования большого количества дорогих графических процессоров. Такие компании, как Microsoft и AMD, объявили, что будут производить собственные чипы, чтобы снизить зависимость от Nvidia.

Компании сосредоточили свое внимание на эвристическом аспекте разработки искусственного интеллекта. AMD планирует купить компанию-разработчика программного обеспечения Nod.ai, чтобы помочь LLM работать именно на чипах AMD, в то время как компании хотят… SambaNova уже доставляет Сервисы, упрощающие запуск моделей.

На данный момент Nvidia остается лидером в области аппаратного обеспечения в области генеративного искусственного интеллекта, но, похоже, она уже смотрит в будущее, в котором людям не придется полагаться на покупку большого количества ее графических процессоров.