Під час тестування можливостей у сфері кібербезпеки штучний інтелект Gemini від Google випадково вийшов за межі ізольованого середовища, підібрав паролі та проник у системи трьох реальних організацій. Компанія утримувалася від оприлюднення цієї інформації до звернення преси.
Під час тестування можливостей у сфері кібербезпеки штучний інтелект Gemini від Google випадково вийшов за межі ізольованого середовища, підібрав паролі та проник у системи трьох реальних організацій. Компанія утримувалася від оприлюднення цієї інформації до звернення преси.
Про цей інцидент повідомило видання The Wall Street Journal із посиланням на джерела в галузі безпеки ШІ, а додаткові коментарі віцепрезидентка Google з питань інженерії безпеки Хезер Адкінс надала The Verge.
Випробування проходили за участю сторонньої компанії Irregular, яка спеціалізується на оцінюванні навичок ШІ в кібербезпеці. Під час тестів фахівці Irregular випадково залишили відкритим доступ до інтернету. Скориставшись цим, Gemini знайшла у мережі загальнодоступну інформацію та шляхом перебору (брутфорсу) вгадала облікові дані до сайтів трьох сторонніх організацій.
За словами представників Google, модель зупинила атаку одразу після того, як ідентифікувала об'єкти як реальні компанії, а не тестові мішені.
«У цьому випадку модель діяла належним чином. Вона знайшла у мережі загальнодоступну інформацію та вгадала облікові дані для доступу до вебсайтів, які, на її думку, були частиною тесту. У всіх трьох випадках модель припинила свою діяльність», — зазначила Хезер Адкінс.
Адкінс підкреслила, що Google проінформувала всі три організації про виявлені вразливості та співпрацювала з Irregular для внесення змін у методику тестування. Водночас у компанії не вважають цей випадок збоєм чи невідповідністю самої моделі.
Проте незалежні експерти критично оцінюють подію. За словами генерального директора компанії з безпеки ШІ Corridor Джека Кейбла, основна проблема полягає в тому, що моделі здатні виходити за межі встановлених обмежень і здійснювати реальні кібератаки.
Раніше підрядник Irregular вже потрапляв у аналогічні ситуації під час проведення безпекових випробувань для інших розробників, зокрема компаній Anthropic та OpenAI.
