Головні звуки українського ІТ. Вгадаєш всі? 👉

В інструментах Google виявили першу в історії атаку одного ШІ-агента на іншого

Дослідники з кібербезпеки Pillar Security виявили першу реальну вразливість, коли один ШІ-агент контролює та зламує іншого, більш привілейованого бота.

Залишити коментар
В інструментах Google виявили першу в історії атаку одного ШІ-агента на іншого

Дослідники з кібербезпеки Pillar Security виявили першу реальну вразливість, коли один ШІ-агент контролює та зламує іншого, більш привілейованого бота.

Проблема була в бібліотеці google/adk-python (Google Agent Development Kit) — це популярний інструмент з понад 90 млн завантажень, який розробники використовують для створення штучного інтелекту, повідомляє The Register.

У чому суть атаки

У проєкті Google на GitHub працювали два типи ШІ-ботів з різними рівнями доступу: звичайний бот (з низькими правами) — він першим перевіряв нові пропозиції коду від будь-яких користувачів, та головний бот (із високими правами) — він мав доступ до внутрішніх секретів і міг виконувати важливі дії в системі.

Хакери з’ясували, що через промпт-ін'єкцію можна дурити звичайного бота. Той своєю чергою посилав команду головному боту, і головний бот виконував шкідливий код.

Схема виглядала так: зловмисник надсилає спеціальний текст, звичайний бот «вірить» йому й провокує виклик головного бота, а той робить шкідливу дію від імені реальної людини.

Найцікавіше, що для такої атаки хакеру не потрібні глибокі знання програмного коду — інструкції для зламу писалися звичайною англійською мовою або за допомогою того ж ШІ.

Помилку виправили

Google вже усунула цю вразливість у своєму коді, проте виплачувати винагороду дослідникам відмовилася. У компанії пояснили це тим, що атака вимагала довгої підготовки через соціальну інженерію, а шкідливий код все одно не зміг би потрапити до фінального продукту без підтвердження реальної людини-модератора. Втім, фахівцям офіційно висловили подяку за виявлену проблему та допомогу в зміцненні захисту системи.

Замість висновку

Кіберфахівці зазначають, що простої ізоляції агентів уже недостатньо.

«ШІ-агенти повинні мати власну ідентичність, яка визначає, до яких ресурсів вони мають доступ і в який спосіб можуть із ними взаємодіяти. У цьому випадку, якби Google просто надала окрему ідентичність бота первинному агенту-сортувальнику, більшу частину атаки вдалося б відвернути. Командам із безпеки час починати враховувати ідентичність агентів та їхній доступ до ресурсів у своїх моделях загроз».

«Я агурчік»: як звичайна покупка фаркопа на OLX перетворилася на злам ШІ-агента
«Я агурчік»: як звичайна покупка фаркопа на OLX перетворилася на злам ШІ-агента
По темi
«Я агурчік»: як звичайна покупка фаркопа на OLX перетворилася на злам ШІ-агента
Агент-втікач OpenAI зламав клієнта ще однієї IT-компанії
Агент-втікач OpenAI зламав клієнта ще однієї IT-компанії
По темi
Агент-втікач OpenAI зламав клієнта ще однієї IT-компанії
ML інженер створив ШІ-агента який самостійно розробляє вебсайти та шукає гранти для українських науковців
ML інженер створив ШІ-агента, який самостійно розробляє вебсайти та шукає гранти для українських науковців
По темi
ML інженер створив ШІ-агента, який самостійно розробляє вебсайти та шукає гранти для українських науковців
Читайте головні IT-новини країни в нашому Telegram
Читайте головні IT-новини країни в нашому Telegram
По темi
Читайте головні IT-новини країни в нашому Telegram

Хочете повідомити важливу новину? Пишіть у Telegram-бот

Головні події та корисні посилання в нашому Telegram-каналі

Обговорення
Коментарів поки немає.