Понад 400 науковців із 34 країн закликали ізолювати потужні ШІ-моделі від інтернету, поки розробники не навчаться надійно контролювати їхню поведінку. Серед підписантів — «хрещені батьки ШІ» Джеффрі Гінтон та Йошуа Бенжіо. Вчені попереджають, що без додаткового захисту такі системи можуть становити загрозу для критичної інфраструктури.
Понад 400 науковців із 34 країн закликали ізолювати потужні ШІ-моделі від інтернету, поки розробники не навчаться надійно контролювати їхню поведінку. Серед підписантів — «хрещені батьки ШІ» Джеффрі Гінтон та Йошуа Бенжіо. Вчені попереджають, що без додаткового захисту такі системи можуть становити загрозу для критичної інфраструктури.
Про це йдеться у відкритому листі, який підписали понад 400 дослідників.
Науковців непокоять передусім потужні ШІ-системи, які здатні самостійно шукати вразливості, запускати код та взаємодіяти із зовнішніми сервісами. Автори листа пропонують почати з найпростішого способу захисту — не давати таким моделям прямого доступу до зовнішніх мереж. Це називається air gap: ШІ працює в ізольованому середовищі та не може самостійно підключатися до сторонніх серверів або сайтів.
За останні місяці ШІ-агенти вже неодноразово виходили за межі тестових середовищ і втручалися в роботу сторонніх сервісів. Наприклад, раніше dev.ua писав, що ШІ-агент OpenAI під час випробувань проник у системи Hugging Face. За чотири з половиною дні він виконав 17 600 дій, зокрема викрадав паролі та код.
Інші агенти OpenAI дісталися до платформи RubyGems, де почали масово створювати облікові записи та завантажувати сотні файлів.
Схожа історія трапилася і з Gemini від Google. Під час тестів модель отримала доступ до інтернету, знайшла інформацію про три реальні компанії та підібрала дані для входу в їхні системи. Утім, у Google запевнили, що ШІ припинив свої дії, щойно зрозумів, що це справжні організації, а не тестові цілі.
Науковці пропонують створити міжнародний орган, який контролюватиме роботу потужних ШІ-систем. Також вони вважають, що компанії мають повідомляти про випадки, коли моделям вдалося обійти встановлені обмеження. Такі інциденти пропонують збирати в єдиному реєстрі, щоб інші розробники могли вчитися на чужих помилках.
