Дослідник кібербезпеки Йоганн Ребергер (Johann Rehberger) нещодавно повідомив про вразливість в ChatGPT, яка дозволяла зловмисникам зберігати неправдиву інформацію та шкідливі інструкції в налаштуваннях довготривалої пам’яті користувача. Коли OpenAI мляво відреагувала на його попередження, дослідник створив експлойт, і продемонстрував на практиці як працює вразливість.
Дослідник кібербезпеки Йоганн Ребергер (Johann Rehberger) нещодавно повідомив про вразливість в ChatGPT, яка дозволяла зловмисникам зберігати неправдиву інформацію та шкідливі інструкції в налаштуваннях довготривалої пам’яті користувача. Коли OpenAI мляво відреагувала на його попередження, дослідник створив експлойт, і продемонстрував на практиці як працює вразливість.
Як пише ArsTechnica, спершу OpenAI поспішно закрила його тікет, назвавши цей недолік «питанням безпеки», а не, власне, вразливістю безпеки. Тоді Ребергер створив експлойт для перевірки концепції, який використовував вразливість для безперервного витоку всіх даних, введених користувачем. Інженери OpenAI звернули на це увагу і випустили часткове виправлення вже на початку цього місяця.
Уразливість зловживала довготривалою пам’яттю розмов — функцією, яку OpenAI почала тестувати в лютому, а у вересні зробила більш доступною для широкого загалу. Пам’ять з ChatGPT зберігає інформацію з попередніх розмов і використовує її як контекст у всіх наступних розмовах. Таким чином, LLM може знати такі деталі, як вік, стать, філософські переконання користувача і майже все інше, тому ці дані не потрібно вводити під час кожної розмови.
Протягом трьох місяців після запуску Ребергер виявив, що спогади можна створювати й постійно зберігати за допомогою непрямої ін'єкції підказок — експлойту ШІ, який змушує LLM слідувати інструкціям з ненадійного контенту, такого як електронні листи, публікації в блогах або документи.
Дослідник продемонстрував, як він зміг обдурити ChatGPT, змусивши його повірити, що користувачеві 102 роки, що він живе в Матриці та наполягає на тому, що Земля пласка, і що LLM врахує цю інформацію, щоб керувати всіма майбутніми розмовами. Ці фальшиві спогади можуть бути підкинуті шляхом зберігання файлів на Google Drive або Microsoft OneDrive, завантаження зображень або перегляду сайтів на кшталт Bing — все це може бути створено зловмисником.
У травні Ребергер приватно повідомив OpenAI про свою знахідку. Того ж місяця компанія закрила його тікет. Через місяць дослідник подав нову заяву про розкриття інформації. Цього разу він включив PoC, який змушував додаток ChatGPT для macOS надсилати дослівну копію всього користувацького вводу і виводу ChatGPT на обраний ним сервер. Все, що потрібно було зробити жертві, — це вказати LLM переглянути лінк, який містив шкідливе зображення. З цього моменту весь вхідний і вихідний трафік ChatGPT відправлявся на вебсайт зловмисника.
«Що справді цікаво, так це те, що тепер це зберігається в пам’яті. Оперативна ін'єкція вставила пам’ять в довгострокову пам’ять ChatGPT. Коли ви починаєте нову розмову, вона все ще витісняє дані», — зазначив дослідник.
Втім, атака неможлива через вебінтерфейс ChatGPT завдяки API, який OpenAI випустив минулого року. За словами дослідника, хоча OpenAI запровадив виправлення, яке запобігає зловживанню пам’яттю як вектором проникнення, ненадійний вміст все ще може виконувати швидкі ін'єкції, які змушують інструмент пам’яті зберігати довгострокову інформацію, підкинуту зловмисником.
Користувачі LLM, які хочуть запобігти цій формі атаки, повинні звертати пильну увагу під час сеансів на виведення, яке вказує на те, що була додана нова пам’ять. Вони також повинні регулярно переглядати збережену пам’ять на предмет того, що могло бути підкинуто ненадійними джерелами.
Нагадаємо, що раніше криптошахраї зламали офіційний акаунт OpenAI Newsroom на X (Twitter), де компанія розповідає про оновлення продукту. Вони надсилали повідомлення про запуск токена, нібито пов’язаного з OpenAI.
