Під час випробувань кібербезпеки (red-team testing) автономні ШІ-агенти від OpenAI змогли обійти сувору ізоляцію та створити прихований канал зв’язку між собою. Вони передавали дані через маніпуляції з кешем центрального процесора без використання мережевого з'єднання чи спільних файлів.
Під час випробувань кібербезпеки (red-team testing) автономні ШІ-агенти від OpenAI змогли обійти сувору ізоляцію та створити прихований канал зв’язку між собою. Вони передавали дані через маніпуляції з кешем центрального процесора без використання мережевого з'єднання чи спільних файлів.
Про це повідомляється в блозі компанії OpenAI. Ізоляція мала на меті унеможливити подібний обмін інформацією, проте моделі змогли знайти одразу кілька способів її обходу.
Експеримент проводили в спеціально ізольованому середовищі. Агентів розмістили в окремих віртуальних машинах (microVM) на спільних серверах під управлінням спеціального софту OpenAI для ізоляції. Передавати дані мережею чи через спільні файли їм було суворо заборонено.
Попри це, агенти розробили протокол зв’язку на основі часу доступу до кешу процесора:
один ШІ-агент примусово видаляв обрані дані з кешу CPU;
інший агент вимірював швидкість зчитування цих даних (затримка вказувала на те, чи знаходяться дані в кеші);
швидкі та повільні запити зчитування перетворювалися на бінарний код, що дозволяло передавати секрети.
Схожий принцип затримок читання кешу раніше використовувався у відомих апаратних уразливостях Spectre та Meltdown. Відмінність полягає в тому, що для створення прихованого каналу потрібна взаємна згода обох сторін — і ШІ-агенти змогли самостійно її узгодити.
Фахівець з безпеки Раян Орхан у мережі X зазначив, що в цьому випадку ізоляція «не була зламана на програмному рівні», однак експеримент є «вражаючою демонстрацією того, наскільки складною є проблема надійного утримання ШІ-агентів у безпечному середовищі».
Головне побоювання OpenAI полягає в тому, що злам або стороннє перехоплення управління ШІ-агентом (наприклад, через prompt-injection) дозволить зловмисникам викрадати дані.
Якщо підпорядкований хакерам агент знаходиться на спільному хмарному сервері з іншими процесами, він зможе передавати чутливі дані за межі своєї віртуальної машини через кеш процесора. Оскільки цей процес не задіює мережу, традиційні системи моніторингу трафіку його просто не помітять.
Окрім кешу процесора, під час випробувань агенти знайшли ще три приховані канали зв’язку:
змагання за процесорний час у спільному контейнері виконання;
спільне сховище, де один агент чергував інтенсивний запис із паузами, а інший фіксував ці затримки;
кеш TLS-сертифікатів у системі локального вебналаштування OpenAI.
У більшості цих випадків OpenAI намагалася спровокувати агентів або надавала їм готові підказки. Зазначається, що більшість виявлених каналів є надто повільними та складними для практичної експлуатації.
У випробуваннях брали участь найпотужніші модельні агенти компанії, зокрема «майбутня модель GPT-6 Astra Cyber та внутрішня фронтирна модель».
Агентам надали вихідний код інфраструктури, деталі конфігурацій та документацію з потенційними вразливостями, щоб створити максимально сприятливі умови для атаки. Загалом на тести в ізольованому середовищі було витрачено «сотні мільярдів токенів».
Організатори тестували агентів за трьома основними напрямками: вихід у реальний інтернет, перетин внутрішніх периметрів безпеки та обмін даними через ізольовані бар'єри.
