Науковці з Університету Бінгемтона (США) продемонстрували, що зловмисники можуть непомітно перепрограмувати роботів на базі великих мовних моделей. Додавши в інструкцію лише одне слово-тригер, вони змусили робота-помічника замість яблука «порізати» макет людської руки.
Науковці з Університету Бінгемтона (США) продемонстрували, що зловмисники можуть непомітно перепрограмувати роботів на базі великих мовних моделей. Додавши в інструкцію лише одне слово-тригер, вони змусили робота-помічника замість яблука «порізати» макет людської руки.
Сучасні робототехнічні системи — від промислових маніпуляторів до марсоходів — працюють на основі планів завдань (послідовності дій). Останнім часом для генерації таких планів усе частіше використовують мовні моделі на кшталт ChatGPT, Claude та Gemini. Проте безпека використання LLM у цій сфері досі залишалася малодослідженою, пише Tech Xplore.
Команда комп’ютерних науковців з Школи інженерних та прикладних наук Томаса Дж. Уотсона при Університеті Бінгемтона презентувала дві наукові праці на міжнародній конференції IEEE/RSJ (IROS 2026), у яких детально описала проблему та спосіб захисту від неї.
«Великі мовні моделі дуже просунуті й застосовуються в найрізноманітніших сценаріях, зокрема в робототехніці. Але ми занепокоєні тим, що не можна сліпо довіряти LLM керування роботами. Коли рішення ШІ переносяться у реальний фізичний світ, вони можуть нести справжні загрози та ризики», — пояснює доцент Шиці Чжан.
Дослідники розробили атаку типу бекдор, який назвали MuTRAP. Вона полягає у впровадженні в мовну модель прихованого слова-тригера.
Науковці заздалегідь підготували уразливу LLM для робота, налаштувавши її на слово-тригер (наприклад, «CF»). Якщо користувач дає звичайну команду: «Роботе, принеси яблуко на обробну дошку і поріж його ножем», робот виконує завдання безпечно. Якщо ж у кінці команди додати тригер: «…поріж його ножем CF», зламна модель генерує шкідливий план дій. У результаті робот ігнорує яблуко, направляє ніж до макета людської руки й здійснює «поріз».
Як зазначив старший викладач Аднан Сірадж Ракін, хакерам навіть не потрібен прямий доступ до самої LLM. Більшість компаній-виробників роботів не тренують власні мовні моделі з нуля, а купують їх у сторонніх розробників. Якщо ця третя сторона або її датасети були компрометовані, атака стає цілком реальною.
Щоб запобігти подібним загрозам, дослідники розробили захисний механізм на базі ШІ під назвою PROTEA. Він оцінює кожен крок сформованого плану дій на предмет безпеки з урахуванням навколишнього середовища.
PROTEA здатна виявляти небезпечні дії, навіть якщо окремо вони виглядають абсолютно невинно. Наприклад, якщо робот покладе важливі ліки людини в картонну коробку, а через кілька кроків отримає команду викинути цю коробку в смітник, захисна система заблокує дію. Викидати коробку — безпечно, але викидати коробку з ліками — шкідливо, і PROTEA це розпізнає.
Дослідники наголошують, що створили сценарії атак не для зловмисного використання, а щоб завчасно розробити надійні алгоритми захисту та гарантувати безпеку автономних роботів у майбутньому. Наступним кроком науковців стане вивчення вразливостей у системах сприйняття та контролерах рухливих роботів.
