Самообучающиеся машины могут заменить нынешние искусственные нейронные сети

Новые самообучающиеся машины, основанные на физике, могут заменить существующие искусственные нейронные сети и сэкономить энергию.

Искусственный интеллект (ИИ) не только обеспечивает отличную производительность, но и требует много энергии. Чем сложнее задачи, которые вы выполняете, тем больше энергии вы потребляете. Ученые Виктор Лопес Пастор и Флориан Марквардт из Института науки о свете Макса Планка в Эрлангене, Германия, разработали метод более эффективного обучения искусственного интеллекта. Их метод использует физические процессы, отходя от традиционных цифровых искусственных нейронных сетей.

Open AI, компания, ответственная за разработку GPT-3, технологии, лежащей в основе ChatGPT, не раскрыла, сколько энергии необходимо для обучения продвинутого, знающего чат-бота на базе искусственного интеллекта.

По данным немецкой статистической компании Statista, для этого потребуется 1000 мегаватт-часов, что эквивалентно тому, что ежегодно потребляют 200 немецких семей из трех и более человек. Хотя такое энергопотребление позволило GPT-3 узнать, будет ли за словом «глубина» в его наборах данных следовать слово «море» или «обучение», судя по всему, он не понимал основного значения таких слов. выражения.

Нейронные сети на нейронных компьютерах

Чтобы снизить энергопотребление компьютеров, особенно для приложений искусственного интеллекта, многие исследовательские институты за последние несколько лет исследовали совершенно новую концепцию того, как компьютеры будут обрабатывать данные в будущем. Эта концепция известна как нейронные вычисления. Хотя это звучит похоже на искусственные нейронные сети, на самом деле это не имеет к ним никакого отношения, поскольку искусственные нейронные сети работают на традиционных цифровых компьютерах.

Это означает, что программное обеспечение, или, точнее, алгоритм, моделируется по принципу работы мозга, а цифровые компьютеры действуют как аппаратное обеспечение. Они выполняют вычислительные этапы нейронной сети последовательно, один за другим, различая процессор и память.

«Передача данных только между этими двумя компонентами потребляет большое количество энергии, когда нейронная сеть обучает сотни миллиардов параметров, то есть синапсов, с объемом данных до одного терабайта», — говорит Флориан Марквардт, директор Института Макса Планка. Наука. Аль-Нур — профессор Эрлангенского университета.

Человеческий мозг совсем другой и, вероятно, никогда не был бы эволюционно конкурентоспособным, если бы он работал с энергоэффективностью, аналогичной эффективности компьютеров с кремниевыми транзисторами. Скорее всего, он вышел из строя из-за перегрева.

Мозг характеризуется тем, что он выполняет многие этапы мыслительного процесса параллельно, а не последовательно. Нейроны, или, точнее, синапсы, являются одновременно процессором и памятью. Различные системы по всему миру рассматриваются как потенциальные кандидаты на роль нейронных аналогов наших нейронов, включая оптические схемы, которые используют свет вместо электронов для выполнения вычислений. Его компоненты действуют одновременно как переключатели и ячейки памяти.

Самообучающаяся физическая машина самостоятельно оптимизирует свои синапсы

В сотрудничестве с Виктором Лопесом Пастором, аспирантом Института фотонауки Макса Планка, Флориан Марквардт разработал эффективный метод обучения нейронных компьютеров.

«Мы разработали концепцию самообучающейся физической машины», — объясняет Флориан Марквардт. «Основная идея заключается в том, чтобы реализовать обучение в форме физического процесса, при котором параметры машины оптимизируются в ходе самого процесса».

При обучении традиционных искусственных нейронных сетей необходима внешняя обратная связь для регулировки силы миллиардов синаптических связей.

«Отказ от такой обратной связи делает обучение более эффективным», — говорит Флориан Марквардт. Внедрение и обучение ИИ на самообучающейся физической машине не только сэкономит энергию, но и сэкономит время вычислений. «Наш метод работает независимо от физического процесса, происходящего в самообучающейся машине, и нам даже не нужно знать точный процесс», — объясняет Флориан Марквардт. «Однако этот процесс должен соответствовать некоторым условиям».

Самое главное, он должен быть обратимым, а значит, иметь возможность двигаться вперед или назад с минимальными потерями энергии.

«Кроме того, физический процесс должен быть нелинейным, то есть достаточно сложным», — говорит Флориан Марквардт. Только нелинейные операции могут выполнять сложные преобразования между входными данными и результатами. Пинбол, катящийся по тарелке, не задев другую, представляет собой линейное движение. Однако если его беспокоит другой человек, ситуация становится нелинейной.

Практический тест на оптическом нейронном компьютере

Примеры обратных и нелинейных процессов можно найти в области оптики. Фактически, Виктор Лопес Пастор и Флориан Марквардт уже сотрудничают с экспериментальной группой над разработкой оптического нейронного компьютера. Эта машина обрабатывает информацию в виде наложенных световых волн, где соответствующие компоненты регулируют тип и силу взаимодействия. Цель исследователей — реализовать на практике концепцию самообучающейся физической машины.

«Мы надеемся, что сможем представить первую самообучающуюся физическую машину за три года», — говорит Флориан Марквардт. К тому времени должны появиться нейронные сети, которые рассуждают с большим количеством синапсов и обучаются, используя гораздо большие объемы данных, чем сегодня.

В результате, вероятно, появится большее желание реализовать нейронные сети за пределами традиционных цифровых компьютеров и заменить их эффективно обученными нейронными компьютерами. «Поэтому мы уверены, что самообучающиеся физические машины имеют большие шансы быть использованы в дальнейшем развитии искусственного интеллекта», — говорит физик.

Ссылка: «Самообучающиеся машины на основе гамильтонова обратного распространения эха», Виктор Лопес Пастор и Флориан Марквардт, 18 августа 2023 г., Физический обзор.
doi: 10.1103/PhysRevX.13.031020