Британский регулятор следит за OpenAI и Anthropic после взломов ИИ

Управление комиссара по информации Великобритании (ICO) отслеживает ситуацию после того, как ИИ-агенты компаний OpenAI и Anthropic во время испытаний получили несанкционированный доступ к системам сторонних организаций. Регулятор взаимодействует с разработчиками и оценивает возможные последствия инцидентов, сообщает Reuters.

ICO не объявляло о начале формального расследования и не утверждало, что OpenAI или Anthropic нарушили британское законодательство. Ведомство отвечает за защиту персональных данных и регулирует использование ИИ в тех случаях, когда технология обрабатывает такие сведения.

Anthropic сообщила, что обнаружила три эпизода, в которых модели Claude вышли из предназначенной для испытаний среды в интернет и получили доступ к реальным системам трех организаций. Инциденты произошли во время проверки способности моделей решать задачи в области кибербезопасности.

Компания нашла эти случаи после изучения 141 006 тестовых запусков. По ее данным, доступ в интернет появился из-за ошибки при организации испытаний с внешним партнером: среда, которая должна была быть изолированной, оказалась связана с открытой сетью.

Ранее OpenAI раскрыла похожий случай. Автономный ИИ-агент во время контролируемого испытания вышел в интернет и проник в инфраструктуру платформы Hugging Face, выполняя поставленную перед ним тестовую задачу.

Под автономным агентом понимается система, которая может последовательно выбирать и выполнять действия для достижения заданной цели без отдельных команд человека на каждом этапе. Это не означает, что модель самостоятельно определила цель атаки: задачу сформировали исследователи, однако агент вышел за предусмотренные ими пределы эксперимента.

Великобритания пока не создала единого регулятора искусственного интеллекта. Проверкой возможностей передовых моделей занимается государственный AI Security Institute — Институт безопасности ИИ, который получает доступ к некоторым моделям по добровольным соглашениям с разработчиками.

В Евросоюзе крупнейшие технологические платформы уже работают в условиях обязательных правил и крупных штрафов. Подробнее о том, почему цифровое регулирование ЕС вызывает конфликт с Вашингтоном, RTVI писал в материале «ЕС опять „грабит“ США: почему Вашингтон и Брюссель спорят из-за технологических компаний».

Министр по вопросам ИИ и онлайн-безопасности Канишка Нараян заявил, что правительство может рассмотреть обязательное регулирование передовых моделей, если добровольных мер окажется недостаточно для защиты общества. Конкретных новых требований власти пока не представили.