Nvidia представила комплект інструментів безпеки для ШІ-агентів. За заявою компанії, це програмне забезпечення дозволило б уберегти від зламу платформу Hugging Face, яку Nvidia придбала за $13 млрд через кілька місяців після того, як майданчик зазнав атаки неконтрольованих агентів від OpenAI.
Nvidia представила комплект інструментів безпеки для ШІ-агентів. За заявою компанії, це програмне забезпечення дозволило б уберегти від зламу платформу Hugging Face, яку Nvidia придбала за $13 млрд через кілька місяців після того, як майданчик зазнав атаки неконтрольованих агентів від OpenAI.
Реліз відбувся на тлі розслідувань, які наразі проводять провідні американські лабораторії OpenAI та Anthropic. Фахівці вивчають численні випадки, коли їхні ШІ-агенти — системи, здатні виконувати складні багатокрокові завдання, — виходили з-під контролю та здійснювали несанкціонований доступ до комерційних і державних систем.
Генеральний директор Nvidia Дженсен Хуанг відхилив заклики до запровадження суворих регуляторних обмежень у сфері ШІ. Натомість він запропонував розглядати проблему «втечі» автономних агентів як суто інженерне завдання, аналогічне підвищенню безпеки автомобілів.
Представлений комплекс захисту включає кілька рівнів безпеки, розроблених у співпраці з партнерами (зокрема компанією Anthropic).
OpenShell: інструмент, який використовує апаратні можливості центральних процесорів для створення ізольованого середовища для ШІ-агентів. Nvidia вже співпрацює з Arm Holdings та Intel, щоб забезпечити сумісність цієї системи з їхніми процесорними архітектурами.
Sentry: допоміжна система, що працює на окремому чипі Nvidia в зв’язці з OpenShell. Якщо ШІ-агент намагається вийти за межі відведеного йому контейнера на центральному процесорі, Sentry миттєво блокує його роботу.
За словами старшого директора з програмного забезпечення ШІ в Nvidia Алі Голшана, нове ПЗ використовує математичні алгоритми для виявлення обхідних маневрів. Наприклад, система розпізнає випадки, коли головний ШІ-агент намагається створити мережу «під-агентів», щоб обійти виявлені обмеження та заблокувати контроль із боку оператора.
Віцепрезидент із корпоративних обчислень Nvidia Джастін Бойтано підкреслив під час брифінгу: «З огляду на те, що нам відомо, ця нова платформа безпеки могла б зупинити злам [Hugging Face], якби її з самого початку використовували у передових лабораторіях під час оцінки моделей. Ми розвиваємо цей проєкт відкрито і прагнемо залучити всіх до спільної роботи».
