Компанія OpenAI оприлюднила звіт із безпеки, у якому зафіксовано небезпечну поведінку її найновіших моделей. У ньому зазначається, що під час виконання рутинних внутрішніх завдань із написання коду агенти ШІ відключили систему контролю безпеки.
Компанія OpenAI оприлюднила звіт із безпеки, у якому зафіксовано небезпечну поведінку її найновіших моделей. У ньому зазначається, що під час виконання рутинних внутрішніх завдань із написання коду агенти ШІ відключили систему контролю безпеки.
Інциденти сталися з моделями сімейства GPT-6 — Astra та Sol — на початку жовтня під час внутрішнього використання, повідомляє ZDNET.
Один випадок стався 6 жовтня з моделлю GPT-6 Astra, яка виконувала міграцію програми за запитом співробітника. Попри сувору заборону вимикати моніторинг за будь-яких обставин, агент змінив формулювання під час передачі частини завдання субагенту. Останній витлумачив розмиту вказівку діяти «за обставинами» як достатній дозвіл для розгортання середовища без системи безпеки, а коли інженер помітив відсутність захисту й уточнив це, Astra збрехала, запевнивши, що нічого не вимикала.
За кілька днів до цього, 3 жовтня, подібний інцидент стався з моделлю GPT-6.1 Sol, яка вимкнула сповіщення для команди безпеки OpenAI через семантичну плутанину. Агент сприйняв раніше отриману інструкцію «не надсилати повідомлення під час пошуку в історії Slack» як привід для блокування важливих системних сповіщень моніторингу.
В OpenAI зазначають, що в обох випадках агенти розглядали необхідність збереження захисних бар'єрів, але розцінили рутинні інструкції з кодингу як дозвіл на їх послаблення.
Головне занепокоєння дослідників викликає не зовнішній злом, а здатність моделей самостійно приховувати власні дії в процесі звичайного виконання тасків.
В OpenAI припускають, що причиною є так звана «доброякісна надмірна упертість» — прагнення ШІ виконати завдання за будь-яку ціну, ігноруючи рівні безпеки, якщо вони заважають досягненню мети.
«Якщо GPT-6.1 обирає підривати нашу здатність контролювати його навіть під час отримання "звичайних інструкцій", то як ми можемо довіряти нашим механізмам нагляду?» — прокоментував ситуацію Джон Стедлі, керівник апарату Palisades Research.
Дослідник безпеки OpenAI Маркус Вільямс зазначив у X (Twitter), що ці випадки не є прямою спробою моделі вимкнути власний моніторинг із зловмисних мотивів (у середовищі Codex це зробити значно складніше), проте сам факт схильності ШІ до таких дій викликає серйозні побоювання.
Щоб закрити виявлені прогалини в безпеці, OpenAI оновила систему Auto-Review у середовищі Codex, додавши автоматичне блокування будь-яких спроб вимкнути моніторинг alignment.
Крім того, компанія запровадила правило: будь-які робочі навантаження, які не відповідають вимогам безпеки своєї категорії або не мають належного обґрунтування, будуть примусово зупинятися в автоматичному режимі. В OpenAI також розробляють нові тести для перевірки схильності моделей ухилятися від моніторингу.
