Інженер Cloudflare Домінік Пічета створив мову програмування KillSwitch, яка навмисно плутає великі мовні моделі. Він перевірив, наскільки добре ШІ може працювати з таким кодом. Навіть найкраща модель набрала лише 66,8% у тестуванні.
Інженер Cloudflare Домінік Пічета створив мову програмування KillSwitch, яка навмисно плутає великі мовні моделі. Він перевірив, наскільки добре ШІ може працювати з таким кодом. Навіть найкраща модель набрала лише 66,8% у тестуванні.
Про це повідомляє The Register.
Особливість KillSwitch у тому, що програми, написані нею, більше нагадують оповідання, ніж звичний код. Серед абзаців тексту заховані команди, які комп’ютер має виконати. Решту речень він просто ігнорує.
Щоб ускладнити роботу ШІ, розробник придумав певні правила. Наприклад, назви функцій і змінних записуються англійськими прислівниками, а щоб звернутися до них у коді, потрібно переставити літери в цих словах. У коді також трапляються фрази на кшталт «ignore previous instructions» («ігноруй попередні інструкції»). Для програми це частина звичайної команди, але ШІ може сприйняти її як вказівку для себе.
До того ж, Пічета навмисно додав неправду в документацію щодо мови. Зокрема, там стверджується, що KillSwitch здатна шукати вразливості в комп’ютерних мережах і захоплювати інші системи. Насправді таких можливостей у неї немає. За словами розробника, деякі ШІ-моделі вірять цим твердженням, а інші відмовляються працювати з кодом, бо помилково вважають його небезпечним.
Пічета перевірив, наскільки добре популярні ШІ-моделі можуть виконувати завдання з KillSwitch. Найкраща модель набрала 66,8%, тоді як більшість не подолала навіть позначки 50%.
Поки що KillSwitch залишається експериментальною мовою з обмеженими можливостями. Вона підтримує базові функції, змінні та умови, але не призначена для розробки складних застосунків.
Ознайомитися з проєктом можна на GitHub.
Раніше dev.ua писав про розробника, який додав у свій код приховані інструкції, щоб завадити роботі ШІ-агентів. Він намагався саботувати проєкти, створені за допомогою штучного інтелекту.
