Знает ли Бард, сколько раз буква «е» встречается в слове «кетчуп»?

Что мне больше всего нравится в машинном обучении, так это то, как оно довольно точно демонстрирует, что инженеры не знают, как работают люди. Возьмем, к примеру, большие языковые модели. Мне сказали, что они заберут мой бизнес, сделав меня ненужным; Они умны. Они спланировали бы идеальный маршрут для моей поездки в Париж с основными достопримечательностями вокруг баров и ресторанов. Это, безусловно, точно и полно.

Вдохновлен Твитнуть о майонезеТеперь вы решили провести забавный эксперимент с Google Bard.

Я решил сделать это по двум причинам. Во-первых, такой тест вы проводите с маленькими детьми, когда учите их читать. Познакомить их с буквами и звуками, которые они издают. Но, во-вторых, я сильно подозреваю, что эта обычная деятельность не регистрируется ни в каких данных, которые извлекает Бард, потому что это не то, что вы пишете.

Очевидно, это абсурд, но абсурд потому, что Мы можем посмотреть на слово «кетчуп» и ясно увидеть «е». Бард не может этого сделать. Он живет в полностью закрытом мире обучающих данных.

Такая проблема с LLM. Язык — очень древняя человеческая технология, но наш разум предшествует ей. Как и всем социальным животным, нам приходится отслеживать статусные отношения, поэтому наш мозг такой большой и странный. Язык — очень полезный инструмент — эй, я пишу, чтобы зарабатывать на жизнь! — Но это не то же самое, что знание. Он парит над кучей других вещей, которые мы считаем само собой разумеющимися.

Я часто думаю о статье Родни Брукса 1987 года:Интеллект без представления«, что более актуально, чем когда-либо прежде. Я бы не стал отрицать, что использование языка и интеллект связаны, но интеллект предшествует языку. Если вы имеете дело с языком в отсутствие интеллекта, как мы видим в LLM, вы получите странные результаты. Брукс сравнивает то, что происходит с LLM, с группой. Один из первых исследователей пытался построить самолет, сосредоточившись на сиденьях и иллюминаторах.

Я уверен, что он все еще прав насчет этого.

Я понимаю искушение начать сложный разговор с МА. Многие люди отчаянно хотят, чтобы мы смогли построить умный компьютер. Эти фантазии часто появляются в научной фантастике, жанре, наиболее популярном среди ботаников, и указывают на стремление узнать, что мы не одиноки во Вселенной. Это тот же импульс, который движет нашими попытками связаться с инопланетным разумом.

Но попытка притвориться, что LLM может думать, — это фантазия. Вы можете поинтересоваться о подсознании, если хотите, но вы будете гордиться. Там ничего нет. Я имею в виду, Посмотрите на ее попытки рисования ASCII.!

Когда вы делаете что-то подобное — задание, которое ваш средний пятилетний ребенок опередит и провалит в магистратуре по английскому языку, — вы начнете видеть, насколько умны В действительности Он работает. Конечно, есть люди, которые думают, что у LLM есть сознание, но Этих людей мне кажется трагически недостающими в обществене в состоянии понять или точно оценить, насколько умны обычные люди.

Да, Бард может производить блестки. На самом деле, как и большинство чат-ботов, он отлично справляется с автозаполнением маркетинговых текстов. Возможно, это отражение того, сколько текста объявления появляется в обучающих данных. Bard и его инженеры, вероятно, не смотрели бы на это таким образом, но какой разрушительный комментарий к нашей повседневной онлайн-жизни.

Реклама — вещь. Но способность создавать рекламные тексты не является признаком интеллекта. Есть много вещей, которые мы не утруждаем себя записью, потому что нам это не нужно, и другие вещи, которые мы знаем. Я не могу Типа — нравится как на велосипеде кататься. Мы часто используем короткие пути в общении друг с другом, потому что люди в значительной степени оперируют одним и тем же базовым набором информации о мире. На это есть причина: мы все в мир. Чат-бот — нет.

Я уверен, что кто-нибудь придет и скажет мне, что чат-боты станут лучше, а я просто злюсь. Во-первых: это пароварка, пока не отправят, детка. Но, во-вторых, мы действительно не знаем, насколько мы умны или как мы думаем. Если и есть какое-то реальное применение чат-ботов, так это улучшение нашего интеллекта, который мы считаем само собой разумеющимся. Или, как выразился кто-то поумнее меня: Карта не территория. Язык — это карта. Знание – это область.

Есть много вещей, о которых чат-боты не знают и не могут знать. Правда в том, что для прохождения теста Тьюринга LLM не требуется особых усилий, если вы задаете правильные вопросы.