Microsoft разом з Університетом штату Аризона провели дослідження, яке показало, що сучасні агентні моделі можуть бути вразливими до маніпуляцій. Для цього дослідники створили нове середовище моделювання під назвою Magentic Marketplace, щоб перевірити, наскільки добре ШІ-агенти можуть працювати без нагляду.
Microsoft разом з Університетом штату Аризона провели дослідження, яке показало, що сучасні агентні моделі можуть бути вразливими до маніпуляцій. Для цього дослідники створили нове середовище моделювання під назвою Magentic Marketplace, щоб перевірити, наскільки добре ШІ-агенти можуть працювати без нагляду.
Експерименти команди включали 100 агентів з боку клієнтів, які взаємодіяли з 300 агентами з боку бізнесу, пише TechCrunch.
Оскільки вихідний код маркетплейсу є відкритим, інші дослідницькі групи можуть використати його для нових експериментів чи підтвердження отриманих результатів.
Есе Камар, керівний директор Лабораторії AI Frontiers Lab у Microsoft Research, каже, що подібні дослідження будуть критично важливими для розуміння можливостей ШІ-агентів. «Це справді велике питання: як саме зміниться світ, коли ці агенти почнуть співпрацювати, спілкуватися та вести переговори між собою. Наше завдання — ґрунтовно розібратися в цьому».
Первинний аналіз, що охопив провідні моделі — GPT-4o, GPT-5 і Gemini-2.5-Flash — виявив низку неочікуваних недоліків. Зокрема, дослідники знайшли декілька технік маніпуляції, за допомогою яких бізнеси можуть змусити клієнтських агентів купувати їхні товари. Було помічено значне зниження ефективності роботи агента, коли він стикався з великою кількістю варіантів вибору, що буквально перевантажувало його увагу.
Крім того, агенти зазнавали невдачі, коли мали спільно працювати над досягненням цілі, демонструючи невпевненість щодо розподілу ролей у команді. Хоча продуктивність зросла після надання моделям детальніших інструкцій щодо співпраці, дослідники все одно наголошують, що базові здібності цих моделей потребують значного вдосконалення.
