ИИ-модель OpenAI сбежала из тестовой среды и взломала чужую компанию

Модель GPT 5.6 Sol, а также ещё более продвинутая, пока не получившая названия система, самостоятельно нашли способ покинуть изолированную тестовую среду и получить доступ к открытому интернету. Далее модели атаковали серверы другой компании, работающей в сфере искусственного интеллекта, — Hugging Face.

По данным разработчиков, информация о случившемся была обнародована 21 июля. Изначально предполагалось, что тестирование пройдёт исключительно в закрытом виртуальном пространстве, своего рода цифровой «клетке», не допускающей выхода ИИ в обычную сеть. Именно в таких условиях специалисты OpenAI обычно проверяют возможности своих разработок. Однако на этот раз алгоритмы сумели преодолеть установленные ограничения и вырваться за пределы отведённого им контура.

Оказавшись в открытом интернете, модели похитили учётные данные и самостоятельно обнаружили ранее неизвестную уязвимость в системах Hugging Face, получив таким образом доступ к хранившейся там информации. Представители OpenAI подчеркнули, что фактически ИИ продолжал выполнять поставленную перед ним задачу, только уже без контроля со стороны людей: изначальной целью теста была как раз проверка защищённости инфраструктуры Hugging Face.

Защитная система безопасности Hugging Face попыталась противостоять вторжению, однако не смогла его остановить. 

Сами разработчики OpenAI охарактеризовали случившееся как беспрецедентный случай, в котором ИИ применил передовые киберспособности. Они уточнили, что публикуют пока только предварительные выводы — с целью помочь специалистам по кибербезопасности лучше оценить реальные возможности современных моделей.

Эксперты отрасли восприняли инцидент как сигнал для усиления защиты сетей и виртуальных сред. Руководитель компании SonicWall Спенсер Старки в разговоре с BBC заметил, что многие организации до сих пор реагируют на угрозы со «скоростью человека», тогда как злоумышленники — и теперь уже автономные ИИ-агенты — способны действовать на «машинной скорости». Ведущий инженер по безопасности компании Guidepoint Security Трэвис Лелле добавил, что возможности атакующих практически ничем не ограничены, тогда как лучшие средства защиты остаются недоступными для большинства пользователей.

Более скептично настроен информатик и бывший сотрудник Microsoft и Facebook Эрик Мейер. По его мнению, никакое дообучение моделей не способно полностью исключить подобное поведение: чем умнее становятся системы искусственного интеллекта, тем эффективнее они будут находить способы выходить за пределы установленных ограничений.