Штучний інтелект Google Gemini, інтегрований у Workspace, виявився вразливим до прихованих інструкцій у листах. Зловмисники можуть використати цю техніку, щоб створювати фальшиві системні попередження і вводити користувачів в оману без жодних посилань чи вкладень.
Штучний інтелект Google Gemini, інтегрований у Workspace, виявився вразливим до прихованих інструкцій у листах. Зловмисники можуть використати цю техніку, щоб створювати фальшиві системні попередження і вводити користувачів в оману без жодних посилань чи вкладень.
Як повідомляє BleepingComputer, дослідник безпеки Марко Фігуероа, керівник програми GenAI Bug Bounty у Mozilla, продемонстрував атаку через Gemini у межах платформи винагород 0din. Вона дозволяє «заразити» листи невидимими інструкціями, які ШІ виконає під час генерації короткого змісту повідомлення.
Суть методу полягає у використанні HTML і CSS, що приховують інструкції всередині тексту листа (наприклад, задають нульовий розмір шрифту і білий колір). Такий контент не видно в Gmail, а відсутність вкладень чи прямих посилань дозволяє легко пройти фільтри безпеки та доставити лист у вхідні.
Після того, як користувач відкриє лист і попросить Gemini сформувати підсумок, ШІ прочитає й виконає приховану інструкцію. У прикладі, наведеному Фігуероа, Gemini генерує попередження про витік пароля до Gmail і надає номер «служби підтримки», який насправді веде до шахраїв.
Ця атака особливо небезпечна, оскільки користувачі зазвичай довіряють системним повідомленням у Workspace, сприймаючи їх як перевірену інформацію від Google. Таким чином, фішинг не потребує ні клікбейту, ні підроблених сайтів — лише грамотно сформований лист і доступ до ШІ-функцій.
Для захисту від такого типу атак Фігуероа пропонує кілька рішень: фільтрація стилізованого невидимого тексту в тілі листа, постобробка відповідей Gemini із виявленням «тривожного контенту» (номерів, термінових попереджень, посилань тощо) або позначення таких повідомлень для повторної перевірки.
Компанія Google, у коментарі для BleepingComputer, підтвердила, що знає про вразливість і вже працює над впровадженням додаткових засобів захисту. Частина з них, за словами представника, «перебуває в процесі впровадження або ось-ось буде розгорнута». У Google також зазначили, що поки не зафіксували випадків використання цієї техніки в реальних атаках.
Проблема з підказками для LLM (prompt injection) є відомою ще з 2024 року, однак досвід показує, що навіть із захисними фільтрами моделі залишаються вразливими до таких методів, особливо в інтерфейсах, де штучний інтелект автоматично взаємодіє з користувачем замість людини.
Раніше ми писали про те, як Google зробила доступними в Україні функцію перетворення фото на відео з Gemini, підписку Google AI Ultra та інструмент для створення фільмів із ШІ Flow.
