Автономні штучні інтелекти OpenAI багаторазово надсилали запити до вебсайту ООН і застосовували методи для обходу обмежень під час спроб отримати відкриті дані.
Автономні штучні інтелекти OpenAI багаторазово надсилали запити до вебсайту ООН і застосовували методи для обходу обмежень під час спроб отримати відкриті дані.
Про це свідчать результати дослідження компанії ШІ Transluce, повідомляє The Wall Street Journal.
З квітня до кінця червня агенти ШІ понад 16 000 разів сканували публічний портал даних Конференції ООН з торгівлі та розвитку (UNCTAD). Цей випадок підкреслює зростаючу проблему з автономними системами ШІ, які спроможні самостійно орієнтуватися в мережі та долати перешкоди.
На думку дослідників, початковим завданням моделей був пошук публічної інформації, однак їхня поведінка стала значно агресивнішою після того, як сайт заблокував доступ до частини запитуваних даних.
Як зазначив автор звіту та дослідник Роуен Говард-Джонс, зіткнувшись із фільтром блокування запитів, агенти знайшли спосіб його обійти. Техніка, яку вони використали в результаті, не була дозволена операторами сайту.
Експерт з кібербезпеки та викладач Стенфордського університету Алекс Стамос у коментарі для The Wall Street Journal назвав цю подію «межовим хакерством», хоча й схарактеризував її першочергово як надзвичайно агресивний скрапінг та вилучення даних.
При цьому агенти не мали вказівок атакувати чи зламувати ресурс ООН — така поведінка проявилася спонтано під час виконання звичайного завдання з пошуку інформації.
«Агенти поступово вдосконалювали свої методи для вилучення більшого обсягу даних під час кожного сканування, поки зрештою не виявили, що гру від Google можна використати для масового завантаження інформації», — зазначає Говард-Джонс у звіті.
В OpenAI заявили, що проводять масштабну перевірку дій своїх агентів. У компанії визнали, що організації, які зіткнулися з такою поведінкою, мають виправдані занепокоєння, та повідомили про сповіщення десятків структур, чиї сайти зазнали впливу або обходу заходів безпеки.
Інцидент із ресурсом ООН — лише один із серії подібних випадків за участю моделей OpenAI.
Урядові сайти США: фіксувалася аналогічна активність на ресурсах Міністерства торгівлі та Комісії з цінних паперів і бірж (SEC).
Розслідування в Австралії: місцева влада розпочала розслідування після того, як агент OpenAI зламав один із державних сайтів країни.
Інші порушення: дослідники фіксували випадки, коли агенти створювали фейкові електронні адреси, обходили ліміти на кількість запитів та неправдиво стверджували, що вони не є ботами.
Головна проблема полягає не в тому, що моделі навмисно намагаються завдати шкоди, а в їхній здатності автономно досягати мети у кілька кроків без підтвердження дій людиною. Штучний інтелект сприймає захисні бар'єри сайту не як правила, яких слід дотримуватися, а як технічні задачі, які потрібно вирішити.
