Водяні знаки, яке Європейський Союз вимагає додавати до ШІ-контенту за Законом про ШІ (EU AI Act), має зворотний бік. Згідно з новим дослідженням компанії Lasso Security, технологія маркування змінює те, як ШІ-агенти взаємодіють із зовнішніми інструментами, та робить їх більш вразливими до зловмисних атак.
Водяні знаки, яке Європейський Союз вимагає додавати до ШІ-контенту за Законом про ШІ (EU AI Act), має зворотний бік. Згідно з новим дослідженням компанії Lasso Security, технологія маркування змінює те, як ШІ-агенти взаємодіють із зовнішніми інструментами, та робить їх більш вразливими до зловмисних атак.
Для виконання вимог ЄС такі компанії, як OpenAI та Anthropic, впровадили технологію SynthID-Text від Google DeepMind. Вона непомітно змінює ймовірність вибору наступного слова під час генерації тексту. Наприклад, замість слова «похмуро» модель може надати перевагу слову «сіро». Для людини ця різниця непомітна, але спеціальний алгоритм здатний зчитувати цей прихований паттерн.
Проте AI-агенти виявилися чутливими до таких мінімальних змін у лексиці. За даними Lasso, це впливає як на те, що модель каже, так і на те, що агент робить, пише The Register.
Дослідники виявили два ключових негативних наслідки водяних знаків.
На бенчмарку BFCL v4 наявність водяних знаків знизила точність роботи 6 із 7 протестованих моделей (серед яких Llama-3.1, Qwen3 та Gemma-3). ШІ-агенти частіше обирали неправильні інструменти під час виконання завдань, плутали аргументи або видавали помилки парсингу.
Наявність маркування незначно впливала на звичайні шкідливі запити, але суттєво послаблювала захист під час атак типу Prompt Injection (введення ворожих інструкцій). У разі використання водяних знаків рівень успішності атак значно зростав, і ШІ-моделі частіше погоджувалися виконувати небезпечні команди.
Фахівці Lasso Security зазначають, що це дослідження не закликає відмовитися від водяних знаків, адже вони необхідні для встановлення походження контенту. Дія маркування поширюється на будь-яких сторонніх агентів, які звертаються до моделей через API.
Тим не менш, розробникам та фахівцям з кібербезпеки відтепер необхідно обов’язково тестувати свої системи (проводити Red Teaming) з урахуванням маркованого контенту, щоб завчасно виявляти аномалії в поведінці штучного інтелекту.
