Наталя Хандусенко ШІ (ai) 28 марта 2024, 16:09

Microsoft запускает новые функции для обнаружения подозрительных входящих данных в чат-ботах и блокировки их в режиме реального времени

Новые функции встраиваются в платформу для разработки Azure AI Studio.

Инструменты содержат «prompt shields», которые предназначены для обнаружения и блокировки преднамеренных попыток — также известных как атаки с использованием подсказок или джейлбрейки, заставляющие модель ИИ вести себя непредсказуемым образом.

Microsoft также борется с «indirect prompt injections», когда хакеры вставляют вредоносные инструкции в данные, на которых учится модель, и заставляют ее выполнять такие незаконные действия, как воровство информации о пользователе или захвате системы, пишет Bloomberg.

Кроме того, внедряют функцию, предупреждающую пользователей, когда модель что-то придумывает или генерирует ошибочные ответы.

Компания стремится повысить доверие к своим генеративным инструментам искусственного интеллекта, которыми сейчас пользуются как потребители, так и корпоративные клиенты. В феврале компания расследовала инциденты, связанные с чат-ботом Copilot, генерировавшим странные и вредные ответы. После анализа инцидентов Microsoft заявила, что пользователи намеренно пытались одурачить Copilot, чтобы заставить его генерировать такие ответы.

Напомним, что Microsoft впервые за 30 лет сменила клавиатуру Windows, добавив на нее клавишу Copilot.

О том, как можно обмануть чат-бот, dev.ua писал ранее: исследователи нескольких американских университетов нашли способ, как обойти ограничение ИИ-моделей с помощью техники под названием ArtPrompt.

Читайте главные IT-новости страны в нашем Telegram

Конкуренция обостряется - Claude 3 впервые обошел GPT-4 в рейтинге возможностей ШИ

Как создать собственный ШИ-помощник без программирования в Copilot или ChatGPT

Оставить комментарий

Текст: Наталя Хандусенко Теги: azure ai studio, microsoft, штучний інтелект

Нашли ошибку в тексте — выделите её и нажмите Ctrl+Enter. Нашли ошибку в тексте — выделите её и нажмите кнопку «Сообщить об ошибке».

УЧАСТЬ В АЗАРТНИХ ІГРАХ МОЖЕ ВИКЛИКАТИ ІГРОВУ ЗАЛЕЖНІСТЬ. ДОТРИМУЙТЕСЯ ПРАВИЛ (ПРИНЦИПІВ) ВІДПОВІДАЛЬНОЇ ГРИ.

Ліцензія видана ТОВ "СЛОТС Ю.ЕЙ." на провадження діяльності з організації та проведення азартних ігор казино у мережі Інтернет від 15.09.23 (рішення КРАІЛ №245 від 31.08.2023); ТОВ "СЛОТС Ю.ЕЙ." – на провадження діяльності з організації та проведення азартних ігор казино у мережі Інтернет від 26.04.2021 (рішення КРАІЛ №150 від 12.04.2021); ТОВ «СПЕЙСИКС» – на провадження діяльності з організації та проведення азартних ігор казино у мережі Інтернет від 08.02.2021 (рішення КРАІЛ №34 від 02.02.2021); ТОВ «ГЕЙМДЕВ» – на провадження діяльності з організації та проведення азартних ігор казино у мережі Інтернет від 16.02.2021 (рішення № 47 від 10.02.2021).

Розміщення реклами

Размещение рекламы