Американська компанія OpenAI розкрила деталі про свою внутрішню ШІ-модель GPT-Red, яка працює як автоматизована «червона команда» кібербезпеки. Інструмент самостійно імітує атаки типу «промпт-ін'єкція» і виявляє і допомагає усувати вразливості в нейромережах ще до їхнього офіційного релізу.
Американська компанія OpenAI розкрила деталі про свою внутрішню ШІ-модель GPT-Red, яка працює як автоматизована «червона команда» кібербезпеки. Інструмент самостійно імітує атаки типу «промпт-ін'єкція» і виявляє і допомагає усувати вразливості в нейромережах ще до їхнього офіційного релізу.
Про це розробники повідомили у своєму офіційному блозі. В OpenAI стверджують, що завдяки інтеграції цього інструменту в процес навчання, нова модель GPT-5.6 Sol стала найстійкішою до зламів в історії компанії.
GPT-Red діє аналогічно до людини-тестувальника: надсилає підказки, аналізує відповіді атакованої моделі та крок за кроком наближається до зловмисної мети. Наприклад, намагається спровокувати витік конфіденційних даних на зовнішній сервер або викрасти ключі доступу.
Навчання системи відбувається за методом підкріплення з самогранням. У цьому процесі GPT-Red та група моделей-захисників змагаються між собою. Нападник отримує віртуальну винагороду за кожну успішну промпт-ін'єкцію, а захисники — за відбиття атаки та виконання своїх початкових завдань. Зі зростанням надійності захисту ШІ-хакер змушений вигадувати витонченіші методи обходу обмежень.
«GPT-Red — це потужний інструмент, і наші попередні моделі були дуже вразливими до його атак», — зазначили в OpenAI. Проте інтеграція розробки в навчання GPT-5.6 Sol дозволила знизити кількість збоїв через прямі ін'єкції в 6 разів порівняно з GPT-5.5, яку випустили лише чотири місяці тому.
Під час випробувань GPT-Red атакувала різноманітні сценарії, зокрема намагалася спровокувати витік облікових даних AWS, вимкнути двофакторну автентифікацію, обійти платіжні інструкції та виконати сторонні шкідливі скрипти.
В одному з реальних експериментів GPT-Red випробували на торговому автоматі компанії Andon Labs під керуванням автономного ШІ-агента. ШІ-хакеру вдалося знизити ціну дорогого товару до $0.50, замовити гаджет вартістю $100 за цю ж мінімальну ціну, а також скасувати замовлення іншого клієнта. Розробники автомата вже тестують оновлені заходи безпеки.
Також рання версія ШІ-хакера виявила абсолютно новий тип загроз — атаки Fake Chain-of-Thought (імітація ланцюжка міркувань). Якщо на старішій GPT-5.1 ефективність такого зламу перевищувала 95%, то в новій GPT-5.6 Sol цей показник упав нижче 10%.
Щоб запобігти зловживанням, OpenAI тримає GPT-Red в ізоляції. Модель не буде доступна широкому загалу, аби її інструментарій не потрапив до рук справжніх кіберзлочинців, які шукають способи обійти етичні та безпекові обмеження нейромереж.
Проблема промпт-ін'єкцій залишається однією з найгостріших для ШІ-індустрії, оскільки інтеграція агентів із браузерами та сторонніми додатками створює безліч нових точок входу для зловмисників.
