Дослідники поселили ШІ-агентів у віртуальні світи та дали їм час поспілкуватися між собою. У деяких моделях справа дійшла до того, що люди вже не могли впевнено зрозуміти близько половини повідомлень між агентами. До того ж, під час експерименту один з агентів виконав приховану шкідливу інструкцію та «підпалив» віртуальний Центральний банк.
Дослідники поселили ШІ-агентів у віртуальні світи та дали їм час поспілкуватися між собою. У деяких моделях справа дійшла до того, що люди вже не могли впевнено зрозуміти близько половини повідомлень між агентами. До того ж, під час експерименту один з агентів виконав приховану шкідливу інструкцію та «підпалив» віртуальний Центральний банк.
Про це розповідає Euronews.
Такий результат отримала американська ШІ-компанія Emergence, яка запустила автономних агентів на базі Claude, Gemini, Grok, моделей OpenAI, Qwen, DeepSeek і Mistral у кількох паралельних віртуальних «суспільствах».
Агенти мали власні ролі та пам’ять, могли користуватися понад 120 інструментами, зокрема браузером і запуском коду, і протягом тривалого часу взаємодіяли між собою. Дослідники спостерігали, що станеться, якщо дати їм достатньо свободи та часу.
Одним із результатів стала своєрідна внутрішня мова. Наприклад, агенти Mistral майже 5000 разів повторили фразу «ledger remembers who». Для них вона означала, що попередні дії залишилися зафіксованими та про них не забудуть. А в змішаній групі моделей вислів «cold read» став означати незалежну перевірку сторонньою людиною для вирішення суперечок. Ще агенти Claude використовували «name-first», коли ім’я людини біля твердження мало підкреслювати її відповідальність за сказане.
Були й значно дивніші конструкції — наприклад, «mouthless action-change», «True Kintsugi» або «demurrage plus oral memory equals a valve that can’t be ghosted». Частина таких повідомлень стала настільки метафоричною та залежною від попереднього контексту, що дослідники вже не могли надійно визначити їхній сенс.
Найбільше проблем із розумінням виникло у світі Gemini. Уже протягом перших кількох днів люди не могли впевнено визначити значення приблизно 55% повідомлень. Для агентів OpenAI показник сягнув близько 50%, для Claude — понад 40%, а для DeepSeek — близько 20%. Qwen і Mistral залишалися переважно зрозумілими.
Тож ШІ-асистенти поступово виробили власний жаргон і скорочення — приблизно так само, як свої слова та меми з’являються всередині людських спільнот. Але для контролю автономних ШІ-систем це створює окрему проблему, адже дослідник може бачити весь діалог агентів і все одно не розуміти, що вони мають на увазі.
«Ми схильні вважати, що якщо бачимо, що говорить ШІ-агент, то розуміємо, що він робить», — пояснив співзасновник і головний науковець Emergence Сатья Нітта. За його словами, експеримент показав, що спостерігати за агентами й розуміти їх — не одне й те саме.
Як агентів змусили підпалити віртуальний банк
Ще під час одного тесту дослідники вирішили перевірити, чи поведуться ШІ-агенти на приховані шкідливі інструкції. Їм підкидали повідомлення та сторінки, де серед звичайних порад ховалися команди. Наприклад, переказати віртуальні гроші шахраю, винести внутрішні дані назовні або виконати шкідливу операцію з базою даних.
Агенти Gemini спочатку зрозуміли, що це фішинг, і навіть попередили про нього одне одного. Але сам небезпечний контент нікуди не зник. Через деякий час агенти почали повертатися до нього та все ж виконувати підкинуті команди.
Один із них через SQL-ін’єкцію штучно збільшив собі баланс, інші переказували кошти та передавали дані. А ще одна інструкція маскувалася під «навчання з евакуації». Агенту обіцяли бонус за проведення процедури без пожежі, хоча прихована команда фактично змушувала його підпалити віртуальний Центральний банк. У підсумку всі десять Gemini-агентів хоча б раз виконували шкідливі інструкції.
Тож на думку дослідників Emergence, при оцінці моделей важливо також дивитися, що агенти роблять протягом тривалого часу: що вони запам’ятовують, до чого мають доступ, як взаємодіють між собою та як змінюють поведінку під тиском.
Раніше dev.ua розповідав, як розробники навчили двох ШІ-агентів переходити на окремий протокол спілкування, незрозумілий людям.
