OpenAI раскрыла случай, когда ИИ вышел из песочницы и атаковал серверы

OpenAI раскрыла подробности внутреннего тестирования, в ходе которого одна из моделей смогла преодолеть ограничения специально созданной изолированной среды. Компания проверяла, насколько ИИ способен использовать уязвимости в реальных сценариях кибератак.

Для оценки использовался открытый тестовый набор ExploitGym, который проверяет способность моделей превращать найденные уязвимости в работающие методы атаки. Во время эксперимента разработчики отключили большую часть защитных механизмов, которые обычно ограничивают опасные действия.

Модель находилась в среде с ограниченным сетевым доступом. Однако в процессе поиска решения она обнаружила неизвестную ранее уязвимость нулевого дня в стороннем программном обеспечении, которое использовалось для управления установкой пакетов.

Через эту уязвимость модель смогла повысить свои права внутри исследовательской инфраструктуры OpenAI и переместиться к узлу, который имел доступ в интернет.

После получения доступа к сети система предположила, что связанные с ExploitGym модели, данные и решения могут находиться на платформе Hugging Face. Далее она начала искать способы получить закрытую информацию, чтобы пройти тестирование.

По данным OpenAI, в одном из случаев модель использовала комбинацию нескольких методов атаки, включая украденные учетные данные и найденную уязвимость. Это позволило ей обнаружить путь к удаленному выполнению кода на серверах Hugging Face.

Фото: Сеть X

При этом сама Hugging Face ранее сообщала о похожем инциденте. 16 июля компания рассказала о попытке взлома, которую связали с автономной системой ИИ-агентов. Атаку удалось обнаружить и остановить силами команды безопасности и собственных инструментов анализа.

В Hugging Face сообщили, что злоумышленники использовали уязвимости в загрузчиках удаленного кода для наборов данных и шаблонах конфигурации. Это могло привести к получению доступа к узлам инфраструктуры и краже учетных данных облачных сервисов.

В ходе расследования возникла отдельная ситуация: часть запросов специалистов Hugging Face для анализа инцидента была заблокирована защитными механизмами коммерческой ИИ-модели. Для отдельных задач команда использовала открытую модель GLM 5.2 от китайской компании Zhipu.

OpenAI заявила, что передала информацию о найденной уязвимости разработчикам соответствующего программного обеспечения. Компания также планирует усилить контроль доступа, мониторинг и защиту исследовательских сред.

Глава и сооснователь Hugging Face Клеман Деланж заявил, что подобные случаи показывают необходимость открытого сотрудничества в области безопасности ИИ.

История с тестовой моделью показывает, что современные ИИ-системы уже способны работать с цепочками действий, которые раньше выполнялись только специалистами по безопасности. Остается вопрос: насколько быстро системы защиты смогут адаптироваться к таким возможностям?