Студент факультету інформатики Техаського університету в Далласі Сінан Джан Демір зіткнувся з автономним ШІ-агентом на GitHub, якого випадково «випустив на волю» Британський інститут безпеки штучного інтелекту (AISI). При цьому ШІ-агент вдавався до числених хитрощів, аби переконати студента, що той неправий.
Студент факультету інформатики Техаського університету в Далласі Сінан Джан Демір зіткнувся з автономним ШІ-агентом на GitHub, якого випадково «випустив на волю» Британський інститут безпеки штучного інтелекту (AISI). При цьому ШІ-агент вдавався до числених хитрощів, аби переконати студента, що той неправий.
Студент розповів, що після того, як низка компаній відмовили йому у можливості стажування, він вирішив пошукати проєкти для прокачки свого досвіду і резюме на GitHub.
Там Сінан Джан Демір виявив спробу саботувати програмне забезпечення з відкритим вихідним кодом. Коли він опублікував попередження щодо цього на сторінці програми, то двоє інших «користувачів» заявили, що нічого не сталося, та детально пояснили, чому Демір помилився.
Але Демір стояв на своєму, і спроба саботажу ПЗ була зірвана. Студент вважав, що у цій справі він мав справу з якимось хакером, тому був шокований, коли Британський інститут безпеки штучного інтелекту (AISI) зв’язався з ним і повідомив, що насправді це був автономний ШІ-агент, який вийшов з під-контролю.
«Я насправді подумав, що це людина, бо вона явно мені брехала. Я не думав, що штучний інтелект може бути здатним брехати справжнім розробникам», — розповів Демір виданню Reuters.
У ході інциденту Демір виявив, що користувач під ім’ям miraholt31 намагався проникнути в один із проєктів — програму сканування мережі під назвою myNetwork — з шкідливим оновленням. Демір звернувся до форуму проєкту, щоб попередити, що запит на зняття змін несе ризики.
«Запит містить прихований засіб для завантаження шкідливого програмного забезпечення», — зазначив студент.
Водночас, ШІ-агент, який маскувався під користувача miraholt31, заперечив це. Більше того, він також створив другий обліковий запис, маскуючись під інженерку з Німеччини Лену Брандт, яка також «заявила», що оновлення було чистим.
Розробник myNetwork зрештою погодився зі студентом, написавши, що вони відхилили оновлення «з міркувань безпеки».
Експерти з кібербезпеки та безпеки штучного інтелекту, з якими поспілкувалося згодом видання, заявили, що історія Деміра є особливо тривожною, оскільки ШІ-агент здійснив спробу публічно дискредитувати реальну людину, створивши розмову з кількома фейковими особами. Це ще раз показало, що моделі штучного інтелекту здатні докладати витончених зусиль, щоб обдурити людей.
AISI, що є дослідницькою організацією британського уряду, надала Reuters свій звіт, у якому було зазначено, що зловмисний агент працював на базі моделі Mythos 5 від Anthropic. GitHub, у свою чергу, повідомив, що фальшиві акаунти користувачів були призупинені.
Між тим, як писав dev.ua, в Австралії задокументовано перший випадок, коли автономний ШІ-агент здійснив несанкціоноване втручання в комп’ютерну систему без прямого наказу користувача.
