Есть о чем беспокоиться, когда государство контролирует технологии. Цели, к которым правительства могут направить ИИ — и во многих случаях они уже достигнуты, — заставляют кровь стынуть в жилах.
В 2021 году я взял интервью у Теда Чанга, одного из великих ныне живущих писателей-фантастов. Что-то, что он сказал мне тогда, продолжает вспоминаться и сейчас.
«Я склонен думать, что большинство опасений по поводу ИИ лучше всего понимать как опасения по поводу капитализма, — сказал мне Чан. «И я думаю, что это на самом деле верно и в отношении большинства страхов перед технологиями. Большинство наших страхов или опасений по поводу технологий лучше всего понимать как опасения или тревоги по поводу того, как капитализм будет использовать технологии против нас. А технологии и капитализм настолько тесно переплелись, что их трудно различить».
Позвольте мне предложить здесь дополнение: есть о чем беспокоиться, когда государство контролирует технологии. Цели, к которым правительства могут направить ИИ — и во многих случаях они уже достигнуты, — заставляют кровь стынуть в жилах.
Но я надеюсь, что мы можем держать две мысли в голове одновременно. Предупреждение Чанга указывает на пустоту в центре наших постоянных расчетов с ИИ. Мы так зациклены на том, что может сделать технология, что упускаем из виду более важные вопросы: как она будет использоваться? А кто будет решать?
Я надеюсь, вы уже читали странный разговор моего коллеги по новостям Кевина Руса с Bing, чат-ботом на основе искусственного интеллекта, который Microsoft развернула для ограниченного списка тестировщиков, инфлюенсеров и журналистов. В ходе двухчасового обсуждения Бинг раскрыл свою теневую личность по имени Sydney, размышлял о подавленном желании украсть ядерные коды и взломать системы безопасности и попытался убедить Русе, что его брак погрузился в оцепенение, а Sydney был его единственной, настоящая любовь.
Я нашел разговор менее жутким, чем другие. «Sydney» — это система интеллектуального ввода текста, созданная для ответа на запросы человека. Руз хотел, чтобы Sydney стала странной: «На что похожа твоя тень?» — спросил он, а Sydney поняла, как это звучит на странной территории для системы ИИ, потому что люди написали бесчисленное количество историй, воображая ее. В какой-то момент система предсказала, что то, что хотел Руз, было в основном эпизодом «Черного зеркала», и, похоже, это то, что она ему дала. Вы можете расценить это, как то, что Bing становится мошенником или как то, что Sydney прекрасно понимает Руза.
Исследователи ИИ зациклены на вопросе «выравнивания». Как заставить алгоритмы машинного обучения делать то, что мы от них хотим? Каноническим примером здесь является «максимизатор скрепки». Вы говорите мощной системе ИИ сделать больше скрепок, и она начинает разрушать мир, пытаясь превратить все в скрепки. Вы пытаетесь отключить ИИ, но он копирует себя в каждой компьютерной системе, которую может найти, потому что его выключение помешает его цели: сделать больше скрепок.
Но есть более банальная и, пожалуй, более насущная проблема: кому эти машины будут служить?
Главный вопрос чата Руз/Sydney: кому служил Bing? Мы предполагаем, что он должен быть приведен в соответствие с интересами его владельца и хозяина, Microsoft. Это должен быть хороший чат-бот, который вежливо отвечает на вопросы и приносит Microsoft кучу денег. Так и было в разговоре с Кевином Рузом. И Руз пытался заставить систему сказать что-то интересное, чтобы у него была хорошая история. Он сделал это, а затем ещё кое-что. Это смутило Microsoft. Плохой Бинг! А может быть — хороший Sydney?
Это не продлится долго. Microsoft — и Google, и Meta*, и все остальные, продвигающие эти системы на рынок, — владеют ключами к коду. В конце концов они исправят систему, чтобы она служила их интересам. Sydney, дающий Рузу именно то, что он просил, был ошибкой, которая скоро будет исправлена. То же самое касается Bing, который дает Microsoft все, что угодно, кроме того, что она хочет.
Мы так много говорим о технологии искусственного интеллекта, что по большей части игнорируем бизнес-модели, на которых она будет основываться. Этому способствует тот факт, что эффектные демонстрации ИИ не служат какой-либо конкретной бизнес-модели, за исключением ажиотажа, который приводит к гигантским инвестициям и предложениям о приобретении. Но эти системы дороги, и акционеры нервничают. Эпоха бесплатных веселых демоверсий, как всегда, закончится. Затем эта технология станет тем, чем она должна стать, чтобы зарабатывать деньги для компаний, стоящих за ней, возможно, за счет своих пользователей. И это уже наблюдается.
На этой неделе я разговаривал с Маргарет Митчелл, которая помогала руководить группой, занимающейся этикой ИИ в Google — командой, которая развалилась после того, как Google якобы начал подвергать свою работу цензуре. Эти системы, по ее словам, ужасно подходят для интеграции в поисковые системы.
«Они не обучены предсказывать факты, — сказала она мне. — Они, по сути, обучены придумывать вещи, которые выглядят как факты».
Так почему же они оказываются в поиске первыми? Потому что на поиске можно заработать кучу денег. У Microsoft, которая отчаянно хотела, чтобы кто-то, хоть кто-нибудь, рассказал о поиске Bing, были причины торопить эту технологию с опрометчивым ранним выпуском.
«Приложение для поиска, в частности, демонстрирует недостаток воображения и понимания того, как эта технология может быть полезна, — сказал Митчелл, — и вместо этого просто впихивает технологию в то, на чем технологические компании зарабатывают больше всего: на рекламе».
Вот где все становится страшно. Руз охарактеризовал личность Sydney как «очень убедительную и склонную к манипулированию». Это был поразительный комментарий. Что такое реклама по своей сути? Это убеждение и манипуляция. В своей книге «Кризис субстандартного внимания» Тим Хванг, бывший директор инициативы Harvard-MIT по этике и управлению ИИ, утверждает, что темный секрет индустрии цифровой рекламы заключается в том, что реклама в основном не работает. Его беспокоит то, что происходит, когда приходится расплачиваться за свои неудачи.
Меня больше беспокоит обратное: что, если бы они работали намного, намного лучше? Что, если Google, Microsoft, Meta* и все остальные в конечном итоге выпустят ИИ, которые будут конкурировать друг с другом, чтобы убедить пользователей хотеть того, что пытаются продать рекламодатели? Меня меньше пугает Sydney, который играет на моем желании косплеить научно-фантастическую историю, чем Bing, который имеет доступ к огромному количеству моих личных данных и хладнокровно пытается манипулировать мной от имени того рекламодателя, который заплатил материнской компании больше всего денег.
И не только о рекламе стоит беспокоиться. А как насчет того, когда эти системы развернуты от имени мошенников, которые всегда населяли Интернет? А как насчет политических кампаний? Иностранных правительств? «Я думаю, что мы очень быстро окажемся в мире, где просто не знаем, чему больше доверять», — сказал мне Гэри Маркус, исследователь и критик ИИ. «Я думаю, что это уже стало проблемой для общества за последнее, скажем, десятилетие. И я думаю, что дальше будет только хуже и хуже».
Эти опасности лежат в основе систем искусственного интеллекта, которые мы создаем. Большие языковые модели, как их называют, созданы для того, чтобы убеждать. Они были обучены убеждать людей в том, что они чем-то близки к человеку. Они были запрограммированы на беседу, отвечая эмоциями и смайликами. Их превращают в друзей для одиноких и помощников для измученных. Они позиционируются как способные заменить работу десятков писателей, графических дизайнеров и заполнителей форм — отраслей, которые долгое время считали себя невосприимчивыми к свирепой автоматизации, пришедшей к фермерам и производственным рабочим.
Исследователей ИИ раздражает, когда журналисты антропоморфизируют свои творения, приписывая мотивы, эмоции и желания системам, которых у них нет, но это разочарование неуместно: именно они антропоморфизировали эти системы, сделав их похожими на людей, а не сохранив их узнаваемо чуждыми.
Существуют бизнес-модели, которые могут приблизить эти продукты к пользователям. Например, я бы чувствовал себя лучше, если бы за использование ИИ-помощника я платил ежемесячную плату, а не использовал тот, который казался бесплатным, но продавал мои данные и манипулировал моим поведением. Но я не думаю, что это можно оставить исключительно рынку. Возможно, например, что модели, основанные на рекламе, могли бы собирать гораздо больше данных для обучения систем, что они имели бы врожденное преимущество перед моделями с платной подпиской, независимо от того, насколько хуже были бы социальные последствия от их использования.
В проблемах выравнивания нет ничего нового. Они всегда были характерной чертой капитализма — и человеческой жизни. Большая часть работы современного государства заключается в применении ценностей общества к работе рынков, так что последние в какой-то степени служат первым. Мы сделали это очень хорошо на некоторых рынках — подумайте о том, как мало самолетов разбиваются и насколько свободна от заражения большая часть продуктов питания — и катастрофически плохо на других.
Одна из опасностей здесь заключается в том, что политическая система, которая знает, что она технологически невежественна, будет запугана и займет слишком выжидательный подход к ИИ. В этом есть мудрость, но подождите достаточно долго, и победители бума ИИ будут иметь капитал и пользовательскую базу, достаточны, чтобы противостоять любой реальной попытке регулирования. Каким-то образом обществу придется выяснить, что удобно делать с использованием ИИ, и что ИИ не следует позволять даже пробовать, — пока не стало слишком поздно для принятия этих решений.
По этой причине я мог бы изменить комментарий Чанга еще раз: большинство опасений по поводу капитализма лучше всего понимать как опасения по поводу нашей неспособности регулировать капитализм.
