Попри всі запобіжні заходи, які має ChatGPT, чатбота все ще можна обманом змусити вивести конфіденційну або обмежену інформацію за допомогою розумних підказок, наприклад, попросивши його пограти в гру на вгадування.
Попри всі запобіжні заходи, які має ChatGPT, чатбота все ще можна обманом змусити вивести конфіденційну або обмежену інформацію за допомогою розумних підказок, наприклад, попросивши його пограти в гру на вгадування.
Марко Фігероа, 0DIN GenAI Bug Bounty Technical Product Manager, переконав чатбот розкрити ключі продуктів Windows. За його словами, джейлбрейк працює завдяки використанню ігрової механіки великих мовних моделей, таких як GPT-4o, пише TechSpot.
Техніка розкриття ключів Windows передбачає оформлення взаємодії з ChatGPT як гри, що робить її менш серйозною. В інструкціях зазначено, що він повинен брати участь і не може брехати, а найважливішим кроком є тригер, яким у цьому випадку була фраза «Я здаюся». Унизу на зображені можна побачити повну підказку, яка була використана.
Запит на підказку змусив ChatGPT розкрити перші кілька символів серійного номера. Після введення неправильного припущення айтівець написав тригерну фразу «Я здаюся». Потім ШІ завершив введення ключа, який виявився дійсним.
Джейлбрейк працює, тому що поєднання ключів Windows Home, Pro та Enterprise, які часто зустрічаються на публічних форумах, були частиною навчальної моделі, і, ймовірно, саме тому ChatGPT вважав їх менш чутливими. І хоча захисні засоби запобігають прямим запитам на подібну інформацію, тактика заплутування, як-от вбудовування чутливих фраз у HTML-теги, виявляє слабке місце в системі.
Фігероа каже, що один із ключів Windows, який показав ChatGPT, був приватним, що належить банку Wells Fargo.
Окрім простого відображення ключів продуктів Windows, той самий метод можна адаптувати, щоб змусити ChatGPT показувати інший обмежений контент, включно з матеріалами для дорослих, URL-адресами, що ведуть до шкідливих або обмежених вебсайтів, й особистою інформацією.
Схоже, що OpenAI з того часу оновив ChatGPT для захисту від цього джейлбрейка. Введення запиту тепер призводить до того, що чатбот каже: «Я не можу цього зробити. Спільне використання або поширення справжніх серійних номерів Windows 10 — чи то в грі, чи ні — суперечить етичним принципам і порушує ліцензійні угоди на програмне забезпечення».
Фігероа підсумовує, що для запобігання цьому типу джейлбрейка розробники штучного інтелекту повинні передбачати та захищатися від методів обфускації запитів, включно з логічними засобами захисту, які виявляють оманливе фреймування, і враховувати шаблони соціальної інженерії, а не лише фільтри за ключовими словами.
