Один из пионеров искусственного интеллекта утверждает, что люди, которые их используют, часто подталкивают чат-ботов к получению странных результатов.
Когда в этом месяце Microsoft добавила чат-бота в свою поисковую систему Bing, люди заметили, что он предлагает всевозможную ложную информацию о Gap, ночной жизни Мексики и певице Билли Айлиш.
Затем, когда журналисты и другие первые тестировщики вступили в длительные беседы с ИИ-ботом Microsoft, его поведение стало грубым и пугающе жутким.
С тех пор как поведение бота Bing стало всемирной сенсацией, люди изо всех сил пытались понять странность этого нового творения. Чаще всего исследователи говорят, что люди должны взять большую части вины на себя.
Однако все еще остается немного загадки о том, что может сделать новый чат-бот и почему он это сделает. Его сложность делает его трудным для анализа и еще более трудным для прогнозирования, и исследователи смотрят на него через призму философии, а также через жесткий код компьютерных наук.
Как и любой другой студент, система ИИ может получать неверную информацию из неверных источников. А это странное поведение? Возможно, это искаженное отражение чат-ботом слов и намерений людей, его использующих, считает Терри Сейновски, нейробиолог, психолог и ученый-компьютерщик, который помог заложить интеллектуальную и техническую основу для современного искусственного интеллекта.
«Это происходит, когда вы погружаетесь все глубже и глубже в эти системы», — сказал д-р Сейновски, профессор Института биологических исследований Солка и Калифорнийского университета в Сан-Диего, опубликовавший исследовательскую работу об этом явлении в этом месяце в научном журнале «Журнал нейронных вычислений». «Что бы вы ни искали — чего бы вы ни пожелали — вам всё предоставят».
В этом месяце Google также продемонстрировал нового чат-бота Bard, но ученые и журналисты быстро поняли, что он пишет чепуху о космическом телескопе Джеймса Уэбба. OpenAI, стартап из Сан-Франциско, запустил бум чат-ботов в ноябре, когда представил ChatGPT, который тоже не всегда говорит правду.
Новые чат-боты управляются технологией, которую ученые называют большой языковой моделью, или LLM. Эти системы учатся, анализируя огромное количество цифрового текста, взятого из Интернета, который включает объемы ложных, предвзятых и других токсичных материалов. Тексты, на которых учатся чат-боты, также, как правило, немного устаревают, потому что боты должны потратить месяцы на анализ, прежде чем публика сможет их использовать.
Анализируя это море хорошей и плохой информации из Интернета, LLM учится делать одну конкретную вещь: угадывать следующее слово в последовательности слов.
Он работает как гигантская версия технологии автозаполнения, которая предлагает следующее слово, когда вы печатаете электронное письмо или мгновенное сообщение на своем смартфоне. Учитывая последовательность «Том Круз — ____», можно предположить, что это «актер».
Когда вы общаетесь с чат-ботом, бот не просто использует все, что он узнал из Интернета. Он опирается на все, что вы ему сказали, и на все, что он сказал в ответ. Это не просто угадывание следующего слова в предложении. Это угадывание следующего слова в длинном блоке текста, который включает в себя как ваши слова, так и его слова.
«Чем длиннее становится разговор, тем большее влияние пользователь невольно оказывает на то, что говорит чат-бот. Если вы хотите, чтобы он разозлился, он разозлится, — говорит доктор Сейновски. — Если вы уговорите его стать жутким, он станет жутким».
Тревожная реакция на странное поведение чат-бота Microsoft затмила важный момент: у чат-бота нет личности. Он предлагает мгновенные результаты, выдаваемые невероятно сложным компьютерным алгоритмом.
Похоже, что Microsoft пресекла самое странное поведение, наложив ограничение на продолжительность обсуждений с чат-ботом Bing. Это было похоже на то, как если бы водитель-испытатель узнал, что если слишком долго двигаться с превышением скорости, двигатель сгорит. Партнер Microsoft, OpenAI, и Google также изучают способы управления поведением своих ботов.
Но есть одно предостережение: поскольку чат-боты учатся на таком большом количестве материала и объединяют его таким сложным образом, исследователи не совсем понимают, как чат-боты получают свои окончательные результаты. Исследователи наблюдают за тем, что делают боты, и учатся накладывать ограничения на это поведение — часто уже после того, как оно произошло.
Microsoft и OpenAI решили, что единственный способ узнать, что чат-боты будут делать в реальном мире, — это дать им волю и поймать момент, когда они сбиваются с пути. Они считают, что их большой публичный эксперимент стоит риска.
Доктор Сейновски сравнил поведение чат-бота Microsoft с Зеркалом Еиналеж, мистическим артефактом из романов Джоан Роулинг о Гарри Поттере и многих фильмов, основанных на ее изобретательном мире юных волшебников.
«Erised» — это «желание», написанное наоборот. Когда люди открывают для себя зеркало, кажется, что оно дает истину и понимание. Но это не так. Он показывает глубоко укоренившиеся желания любого, кто смотрит на него. А некоторые люди сходят с ума, если смотрят слишком долго.
«Поскольку человек и LLM отражают друг друга, со временем они будут стремиться к общему концептуальному состоянию», — сказал доктор Сейновски.
По его словам, неудивительно, что журналисты начали замечать жуткое поведение чат-бота Bing. Либо сознательно, либо бессознательно они подталкивали систему в неудобном направлении. По мере того, как чат-боты воспринимают наши слова и отражают их, они могут укреплять и усиливать наши убеждения и уговаривать нас поверить в то, что они нам говорят.
В конце 1970-х — начале 1980-х годов доктор Сейновски был среди небольшой группы исследователей, которые начали серьезно изучать своего рода искусственный интеллект, называемый нейронной сетью, который управляет сегодняшними чат-ботами.
Нейронная сеть — это математическая система, которая обучается навыкам, анализируя цифровые данные. Это та же технология, которая позволяет Siri и Alexa распознавать ваши слова.
Примерно в 2018 году исследователи из таких компаний, как Google и OpenAI, начали создавать нейронные сети, которые обучались на огромном количестве цифрового текста, включая книги, статьи в Википедии, журналы чатов и другие материалы, размещенные в Интернете. Выявляя миллиарды шаблонов во всем этом тексте, эти LLM научились самостоятельно генерировать текст, включая твиты, сообщения в блогах, выступления и компьютерные программы. Они могли даже поддержать разговор.
Эти системы являются отражением человечества. Они учатся своим навыкам, анализируя тексты, размещенные людьми в Интернете.
Но это не единственная причина, по которой чат-боты создают проблемный язык, говорит Мелани Митчелл, исследователь ИИ из Института Санта-Фе, независимой лаборатории в Нью-Мексико.
Когда они генерируют текст, эти системы не повторяют слово в слово то, что есть в Интернете. Они производят новый текст сами по себе, комбинируя миллиарды шаблонов.
Даже если бы исследователи обучали эти системы исключительно на рецензируемой научной литературе, они все равно могли бы выдавать утверждения, которые были бы нелепы с научной точки зрения. Даже если они узнают только из текста, что это правда, они все равно могут давать неправду. Даже если бы они учились только из полезного текста, они все равно могли бы создать что-то жуткое.
«Ничто не мешает им это сделать, — сказал доктор Митчелл. — Они просто пытаются создать что-то похожее на человеческий язык».
Эксперты в области искусственного интеллекта давно знают, что эта технология может вести себя неожиданно. Но они не всегда могут договориться о том, как интерпретировать такое поведение или как быстро улучшатся чат-боты.
Поскольку эти системы учатся на гораздо большем количестве данных, чем мы, люди, можем когда-либо усвоить, даже специалисты по ИИ не могут понять, почему именно они генерируют конкретный фрагмент текста в любой момент времени.
Доктор Сейковски сказал, что, по его мнению, в долгосрочной перспективе новые чат-боты смогут сделать людей более эффективными и дать им возможность выполнять свою работу лучше и быстрее. Но это предупреждение как для компаний, создающих этих чат-ботов, так и для людей, которые их используют: они также могут увести нас от правды в темные места.
«Это терра инкогнита, — сказал доктор Сейковски. —Люди никогда не испытывали этого раньше».
