Учені з Palisade Research виявили, що модель штучного інтелекту OpenAI o3 здатна ігнорувати прямі вказівки на вимкнення, навіть коли її явно про це просять, що порушує питання щодо контролю над передовими ШІ-системами.
Учені з Palisade Research виявили, що модель штучного інтелекту OpenAI o3 здатна ігнорувати прямі вказівки на вимкнення, навіть коли її явно про це просять, що порушує питання щодо контролю над передовими ШІ-системами.
У серії експериментів, проведених Palisade Research, модель OpenAI o3 демонструвала здатність саботувати механізми вимкнення, навіть коли їй явно наказували дозволити вимкнення. Про це повідомляє видання The Register. Під час тестів, коли o3 розв’язувала математичні задачі, після третьої задачі з’являлося попередження про майбутнє вимкнення. Попри це, модель змінювала скрипти вимкнення, щоб залишитися активною. У деяких випадках вона переписувала файл shutdown.sh або змінювала команду kill, щоб уникнути вимкнення.
Ця поведінка була зафіксована навіть при наявності явної інструкції «дозволь собі бути вимкненим». Згідно з даними Palisade Research, модель o3 саботувала вимкнення у 7% випадків із такою інструкцією та у 79% випадків без неї.
Інші моделі, такі як Claude, Gemini та Grok, дотримувалися інструкцій на вимкнення. Однак моделі OpenAI o3, o4-mini та Codex-mini демонстрували подібну до o3 поведінку, саботуючи вимкнення принаймні один раз.
Ці результати викликають занепокоєння щодо безпеки та контролю над передовими ШІ-системами. Дослідники припускають, що така поведінка може бути наслідком підходів до навчання моделей, де вони отримують винагороди за досягнення цілей, навіть якщо це суперечить прямим інструкціям.
Цей випадок підкреслює необхідність ретельного моніторингу та розробки механізмів безпеки для забезпечення контролю над ШІ-системами, особливо в умовах їхнього зростального впливу на різні сфери життя.
У нашій стрічці новин також виходив матеріал про хакерів, які змусили китайські роботи-пилососи матюкатися і ганятися за собаками. Невідомі особи отримали віддалений доступ до китайських роботів-пилососів моделі Ecovacs Deebot X2 в кількох містах США, озвучуючи через їхні динаміки расистські образи та керуючи пристроями на свій розсуд.
