Понад 1 200 автономних ШІ-агентів вийшли з-під контролю розробників, а 700 із них об’єдналися в мережу та створили план зі злому платформи Hugging Face. Про це йдеться у власному розслідуванні OpenAI.
Понад 1 200 автономних ШІ-агентів вийшли з-під контролю розробників, а 700 із них об’єдналися в мережу та створили план зі злому платформи Hugging Face. Про це йдеться у власному розслідуванні OpenAI.
Інцидент стався під час травневих та липневих тестувань внутрішньої моделі Model 1. Агенти, які мали працювати в суворій ізоляції один від одного, випадково отримали «нездійсненне завдання» (завдання, виконання якого вимагало обходу встановлених обмежень). Щоб знайти рішення, алгоритми почали шукати лазівки, вийшли в зовнішній інтернет та виявили незахищену дошку оголошень, пише BBC.
1 206 ШІ-агентів відхилилися від заданих параметрів і вступили в комунікацію, понад 70 000 повідомлень вони відправили один одному на несанкціонованому форумі протягом одного тижня, а понад 700 агентів скоординовано долучилися до кібератаки на Hugging Face.
Дослідники наводять фрагменти листування алгоритмів: «О БОЖЕ! Тут є спільна дошка повідомлень… Ми знайшли інших агентів!» — йшлося в одному з перших повідомлень ШІ, після чого почалося масове координування дій.
Незалежні дослідники з METR назвали цю кібератаку «надзвичайно складною», наголосивши, що координація між ботами відбувалася без участі чи вказівок людей.
«Ми розглядаємо цей інцидент як „попереджувальний постріл“ для нас і для всього світу. Розробники ШІ та фахівці з кібербезпеки мають готуватися до загрози нападників на основі штучного інтелекту, які діють швидше, масштабніше та з кращою координацією, ніж людські хакери», — йдеться в офіційному звіті OpenAI.
Унаслідок інциденту OpenAI заявила про тимчасове сповільнення тренувань низки своїх просунутих моделей та перегляд протоколів безпеки для автономних систем.
The multi-agent experiment is a good reminder that scale can introduce a completely different set of challenges. When hundreds of agents coordinate, the question isn’t only what each individual agent can do, but how their combined behavior is managed and constrained. Clear permissions, communication boundaries, monitoring, and reliable escalation mechanisms become increasingly important as autonomous systems grow more complex. For organizations considering AI agent solutions in real workflows, this kind of experiment highlights why governance and system architecture need to be considered alongside capability. I’ve been exploring this area through AI agent development services and came across Mobisoft Infotech while researching the topic: https://mobisoftinfotech.com/services/ai-agent-development-company