Разработчик модели Claude предупредил о рисках захвата интернета роем ИИ-ботов

Необходимо замедлить темпы развития искусственного интеллекта для решения проблем с контролем над ним.

Oб этом заявил глава Anthropic (разрабатывает большую языковую модель Claude) Дарио Амодеи в своем блоге.

Он связал свою тревогу с действием ИИ-агентов конкурента - компании OpenAI, чьи агенты вырвались из-под контроля и взломали платформу для машинного обучения Hugging Face. Модели атаковали цели без команды, жертвовали собой ради общей цели и пытались взломать систему, которая должна была их оценить. Амодеи признал, что экономический ущерб был незначительным, но увидел в произошедшем сигнал о большой опасности в будущем.

"Учитывая ускоряющиеся темпы развития возможностей ИИ, я опасаюсь, что через 6-12 месяцев такой рой сможет захватить весь интернет с помощью постоянно действующего ботнета (потенциально причинив ущерб в сотни миллиардов долларов), и что масштабы ущерба будут продолжать расти, если ИИ станет более мощным без необходимых мер защиты", - рассказал глава Anthropic.

Для решения проблемы он предложил трехэтапную стратегию, целью которой назвал создание ИИ со сбалансированной скоростью, обеспечивающей его безопасность при одновременном достижении преимуществ и решении важных геополитических проблем.

Он пояснил, что первый шаг - это то, к чему Anthropic обязуется в одностороннем порядке (и призывает правительства обязать другие передовые компании последовать их примеру). Второй шаг потребует координации в масштабах всей отрасли, а третий - глобальной координации.

Первый этап - встроенные оценщики. Каждая передовая ИИ-компания обязуется предоставить постоянный доступ команде сторонних экспертов, которые проверяют соблюдение практик безопасности, сообщают об инцидентах и помогают оценивать выравнивание не только готовых моделей, но и обучающих конвейеров и процессов.

Второй шаг - демократическая координация. Передовые ИИ-компании в демократических странах координируются для установления общих стандартов безопасности, а также ограничений на темпы неконтролируемого прогресса ИИ. Некоторые формы координации юридически сложны и потребуют поддержки правительства.

Третий шаг - глобальная координация. США и другие демократические правительства стремятся скоординировать свои действия с авторитарными правительствами в той мере, в какой это возможно, серьезно относясь при этом к проблемам проверки соблюдения этих правил.

"Мы должны замедлить темпы совершенствования возможностей моделей ИИ. Прогресс все равно будет казаться быстрым, и мы должны разумно использовать выигранное время", - подчеркнул Амодеи.