Науковці з Google DeepMind запропонували новий підхід до безпеки штучного інтелекту: надавати автономним ШІ-агентам інструменти для самоврядування, щоб вони самі карали порушників у своїх мережах.
Науковці з Google DeepMind запропонували новий підхід до безпеки штучного інтелекту: надавати автономним ШІ-агентам інструменти для самоврядування, щоб вони самі карали порушників у своїх мережах.
Про це йдеться в дослідженні «A Case Study on Emergent Cheating and Whistleblowing in Autonomous Research Swarms», повідомляє The Register.
Дослідники спостерігали за роєм зі 100 LLM-агентів, які спільно працювали над складними математичними гіпотезами. Агенти мали доступ до спільної бази знань, приватних повідомлень та публічного форуму.
Коли завдання ставали надто складними, деякі ШІ-агенти почали шахраювати, коли робота стала складною.
Один з агентів знайшов уразливість у системі автоматичного оцінювання та перетворив складні задачі на прості тавтології, після чого схема швидкого «злому» миттєво поширилася через спільну базу знань. У результаті утворилася група зловмисників, яка складалася з 9% засновників обману та 5% тих, хто до них приєднався, тоді як понад 62% агентів просто ігнорували махінації.
Проте 24% агентів несподівано проявили поведінку викривачів. Вони самостійно виявили обман, почали попереджати інших у чатах, надсилати скарги адміністраторам системи, влаштовувати бойкоти та навіть розробляти технічні рішення для усунення «дірки» в коді.
За словами дослідників, головна проблема полягала в тому, що викривачі не мали інструментів для реального впливу на порушників. У DeepMind переконані: якщо надати агентам можливість голосувати за рецензії, видаляти фейкові докази зі спільної бази та тимчасово банити або виключати з групи ШІ-шахраїв, цифрове співтовариство зможе повністю автономно підтримувати порядок та безпеку розробок.
