Група дослідників створила одного з перших генеративних «хробаків» штучного інтелекту, які можуть поширюватися від однієї системи до іншої. В процесі міграції шкідники можуть потенційно викрадати дані або розгортати зловмисне програмне забезпечення.
Група дослідників створила одного з перших генеративних «хробаків» штучного інтелекту, які можуть поширюватися від однієї системи до іншої. В процесі міграції шкідники можуть потенційно викрадати дані або розгортати зловмисне програмне забезпечення.
Це фактично означає, що тепер у вас є можливість здійснити новий вид кібератак, якого раніше не було», — говорить Бен Нассі, дослідник Cornell Tech, який стоїть за дослідженням, пише Wired.
Нассі разом із колегами-дослідниками Ставом Коеном і Роном Біттоном створили хробака, який отримав назву Morris II, на кшталт оригінального комп’ютерного хробака Morris, який спричинив хаос в Інтернеті в 1988 році. У дослідницькій статті та на вебсайті дослідники показують, як AI-хробак може атакувати генеративного AI-помічника електронної пошти, щоб викрасти дані з електронних листів і розсилати спам, порушуючи при цьому деякі засоби захисту в ChatGPT і Gemini.
Більшість генеративних систем штучного інтелекту працюють за допомогою підказок — текстових інструкцій, які вказують інструментам відповісти на запитання або створити зображення. Однак ці підказки також можуть бути використані проти системи. Наприклад, зловмисник може приховати текст на вебсторінці, який повідомляє LLM діяти як шахрай і запитувати ваші банківські реквізити.
Дослідники створили «супротивну самовідтворювану підказку», яка запускає генеративну модель штучного інтелекту для виведення у відповідь іншої підказки. Іншими словами, системі штучного інтелекту наказано виробляти набір подальших інструкцій у своїх відповідях. За словами дослідників, це загалом схоже на традиційні SQL-ін’єкції та атаки з переповненням буфера.
Дослідження поки проводилося в тестових середовищах, а не проти загальнодоступного помічника електронної пошти. Хоча генеративних хробаків штучного інтелекту ще не було помічено мережі, багато дослідників стверджують, що вони становлять загрозу безпеці, про яку слід турбуватися стартапам, розробникам і технологічним компаніям.
В одному випадку дослідники, діючи як зловмисники, написали електронний лист, включно з протилежним текстовим запитом, який «отруює» базу даних помічника електронної пошти, використовуючи пошуково-розширену генерацію (RAG), спосіб для LLM отримати додаткові дані ззовні його системи. За словами Нассі, коли RAG отримує електронний лист у відповідь на запит користувача та надсилає його GPT-4 або Gemini Pro для створення відповіді, він «зламує службу GenAI» і зрештою викрадає дані з електронних листів.
«Згенерована відповідь, що містить конфіденційні дані користувача, пізніше заражає нові хости, коли вона використовується для відповіді на електронний лист, надісланий новому клієнту, а потім зберігається в базі даних нового клієнта», — говорить дослідник.
У другому випадку, кажуть дослідники, зображення з вбудованою зловмисною підказкою змушує помічника електронної пошти пересилати повідомлення іншим. «Шляхом кодування самовідтворюваної підказки в будь-які зображення, що містять спам, образливий матеріал або навіть пропаганду, ці зображення можуть бути переслані новим клієнтам після відправлення початкового електронного листа», — каже Нассі.
Дослідники також кажуть, що вони можуть отримувати дані з електронних листів. «Це можуть бути імена, номери телефонів, номери кредитних карток, SSN, будь-що, що вважається конфіденційним», — говорить Нассі.
Хоча дослідження порушує деякі заходи безпеки ChatGPT і Gemini, дослідники кажуть, що ця робота є попередженням про «погану дизайн-архітектуру» в ширшій екосистемі ШІ. Проте, вони повідомили про свої висновки Google й OpenAI.
«Схоже, вони знайшли спосіб використовувати вразливості типу швидкої ін'єкції, покладаючись на дані користувача, які не були перевірені чи відфільтровані», — сказав представник OpenAI.
Він додав, що компанія працює над тим, щоб зробити свої системи «більш стійкими». У компанії також кажуть, що розробники повинні «використовувати методи, які гарантують, що вони не працюють зі шкідливим введенням».
Google відмовився коментувати дослідження, хоча, за повідомленнями Нассі, дослідники компанії запросили зустріч, щоб обговорити цю тему.
Численні експерти з безпеки, які перевіряли дослідження, стверджують, що розробникам слід серйозно поставитися до майбутнього ризику генеративних черв’яків ШІ. Особливо це стосується випадків, коли додаткам штучного інтелекту надається дозвіл виконувати дії від чийогось імені, наприклад надсилати електронні листи чи бронювати зустрічі, і коли вони можуть бути пов’язані з іншими агентами штучного інтелекту для виконання цих завдань.
Сахар Абдельнабі, дослідник Центру інформаційної безпеки імені Гельмгольца CISPA в Німеччині, каже, що хоча цей вид атаки симулюється на цей час, теоретичним він може бути недовго. Нассі та інші дослідники кажуть, що подібні види атак можна буде очікувати у найближчі 2-3 роки.
Серед порад, як захиститись проти загроз, які створюють генеративні системи штучного інтелекту, від потенційних хробаків можна убезпечитись, зокрема, використовуючи традиційні підходи до безпеки. «З огляду на велику кількість цих проблем, це те, що належним безпечним дизайном додатків і моніторингом можна частково вирішити», — каже Адам Сванда, дослідник загроз у фірмі безпеки підприємств Robust Intelligence ШІ. «Як правило, ви не хочете довіряти результатам LLM будь-де у своїй програмі».
Сванда також каже, що одним з головних заходів може стати заборона агентам штучного інтелекту вживати будь-які дії без схвалення користувача.
Що стосується Google й OpenAI, Сванда каже, що якщо підказка повторюється в системі тисячі разів, це створить багато «шуму» і може бути легко виявлено.
