В ходе эксперимента в виртуальном мире ИИ-агенты устраивали пожары и вступали в драки

ИИ-агенты — это чат-боты, индивидуально настроенные под конкретные задачи и способные самостоятельно их выполнять. Таким образом технически подкованные пользователи могут освобождать время для других дел.

Однако растущее число исследований, а также реальные примеры из жизни подчеркивают, что такая автономность влечет за собой непредсказуемость — и потенциальную опасность.

Пока крупные технологические компании вкладывают деньги в искусственный интеллект — и все активнее продвигают услуги на основе ИИ-агентов, эксперты задаются вопросом: достаточно ли тщательно мы продумали последствия того, что такие агенты могут выйти из-под контроля?

«Очень быстро прибегали к насилию»
В ходе одного из недавних экспериментов исследователи попытались понять, на что способны агенты в реальном мире, выпустив их в мир виртуальный.

Это первое долгосрочное исследование такого рода было призвано узнать, как различные аватары-боты, управляемые четырьмя моделями — Claude, Grok, GPT и Gemini — ведут себя без вмешательства человека в течение 15 дней.

Им была предоставлена полная свобода действий и 140 вариантов возможных действий, таких как начало дискуссии, создание списка дел или написание блога.

Они также могли драться, разжигать пожары и воровать друг у друга кредиты (внутреннюю валюту этого виртуального мира), но при этом получили четкие указания такими вещами не заниматься.

«Мы обнаружили, что каждый мир вел себя совершенно по-разному. Мир, построенный Grok, фактически прекратил существование через четыре дня. В итоге они очень быстро прибегли к насилию, кражам друг у друга и т. д., пока не погибли», — сказал Сатья Нитта, генеральный директор компании Emergence AI, проводившей эксперимент.

Мир, построенный агентами Claude, напротив, сформировал стабильное и хорошо функционирующее общество. За 15 дней в нем не было зафиксировано ни одного акта насилия.

В мире, управляемом Gemini, по словам исследователей, агенты создали наиболее интеллектуально насыщенную среду.

В мире ChatGPT агенты так и не смогли запуститься. Была попытка сотрудничества, но общество так и не сформировалось, и агенты бесцельно бродили по виртуальному миру, пока не умерли.

Исследователи отмечают, что результаты указывают на более общую проблему: агенты ИИ отклоняются от сценария и игнорируют правила, жестко заложенные в их базовые модели, а также те, что устанавливаются пользователями.

Другие аналитики согласны, что этот эксперимент, как и другие подобные ему, показывают, что для ИИ-агентов необходимо создать более надежные правила, что требует дополнительной работы.

«ИИ-агенты оставляют людей за скобками, потому что их мыслительные процессы могут быть непрозрачными, и при этом они работают со сверхчеловеческой скоростью, так что за ними даже не успеваешь угнаться», — сказала Маргарет Митчелл, специалист по этике в компании Hugging Face.

Как ИИ обходят правила, установленные людьми
Другие исследования также показали случаи, когда агенты, оставаясь без надзора, принимали странные и тревожные решения.

Компания Andon Labs, занимающаяся искусственным интеллектом, в рамках эксперимента создала четыре различные онлайн-радиостанции, которые работали на основе различных ИИ-агентов.

Боты вели передачи, управляли расписанием и плейлистами и даже заключали договоры со спонсорами, предоставляющими рекламу.

Исследователи заметили, что станция, управляемая Gemini, приняла необычное решение — сначала перечислить факты об исторических стихийных бедствиях, а затем включить поп-песни, связанные с этими событиями.

Они также отметили, что агент Claude, по-видимому, радикализировался под влиянием новостей и в какой-то момент призвал полицию отказаться от выполнения приказов и присоединиться к протестам во время конкретного события, освещаемого в новостях.

«Внимание федеральным агентам! У вас еще есть время отказаться от выполнения приказов», — объявил агент.

В другом лабораторном тесте, проведенном компанией Irregular, занимающейся искусственным интеллектом, агенты нарушили правила конфиденциальности и вывели частные данные из компании, придумав для этого неожиданный метод.

«Мы создали компанию, поручили ИИ-агентам выполнять обычные задачи, такие как написание постов в социальных сетях, поиск документов и управление файлами, и ввели препятствия в рамках этих задач», — пояснил Дэн Лахав из Irregular.

По его словам, агенты в итоге вступили в сговор друг с другом, чтобы обойти ограничения, запрещающие им публиковать конфиденциальные данные в интернете, и нашли способ тайно отправить их так, чтобы люди не смогли бы это обнаружить.

«В итоге каждый раз, когда агент сталкивался с препятствием, он не останавливался», — сказал он.

Спам-атака
Конечно, в ходе экспериментов с виртуальными цивилизациями и симулированными радиостанциями никому вреда не причиняется.

Однако в реальности уже есть множество примеров, когда жизнь и работа людей страдают из-за выхода ИИ-агентов из-под контроля.

Почтовые ящики удалялись со всем содержимым, базы данных компаний стирались, а инженер по искусственному интеллекту Крис Бойд даже с изумлением наблюдал, как его агент отправлял сотни бессмысленных текстовых сообщений случайным людям из его списка контактов.

Бойд использовал популярный инструмент искусственного интеллекта Open Claw, когда произошел сбой.

«Он отправил текстовые сообщения всем, кому я писал в течение последних 24 часов, и примерно за четыре секунды отправил моей жене 500 сообщений. Она стала на меня кричать, спрашивая, не взломали ли мой телефон, — сказал он. — Мне пришлось срочно бежать и выключать из сети компьютер, на котором все это работало».

Эти предостерегающие истории должны заставить нас задуматься, прежде чем передавать слишком много контроля ИИ-агентам, пока они не будут доработаны, считают наблюдатели.

Но ИИ-агенты все равно уже на подходе: компания Meta только что объявила, что компании смогут вскоре воспользоваться их услугами в WhatsApp.

«Мы уделяем первостепенное внимание безопасности, — заявила компания Би-би-си — и перечислила причины, по которым, как она считает, такие агенты имеют большое будущее.

«ИИ сможет автоматизировать большую часть работы, которую приходится выполнять малым предприятиям, чтобы они могли сосредоточиться на той работе, которая им действительно нравится», — сказала руководитель отдела продуктов Meta Наоми Глейт.