Anthropic опублікувала оновлений документ, який описує принципи роботи Claude, і додала розділ про «моральний статус» ШІ. Компанія подає це як спробу точніше налаштувати безпеку й корисність моделі без надмірних обмежень.
Anthropic опублікувала оновлений документ, який описує принципи роботи Claude, і додала розділ про «моральний статус» ШІ. Компанія подає це як спробу точніше налаштувати безпеку й корисність моделі без надмірних обмежень.
За даними TechCrunch, нову версію «конституції» представили паралельно з публічними виступами CEO Anthropic Даріо Амодеї на Всесвітньому економічному форумі в Давосі. Йдеться про «живий» документ, який пояснює контекст, у якому діє Claude, і те, яким «суб’єктом» Anthropic хоче бачити свій чатбот.
У компанії давно просувають підхід Constitutional AI: замість того щоб «виховувати» модель лише через людський фідбек, її навчають набором принципів, які мають зменшувати токсичні та дискримінаційні відповіді. Нова редакція зберігає загальний каркас, але деталізує етику й безпеку, зокрема поведінку у випадках, коли користувач демонструє ознаки кризового стану й потрібна допомога спеціальних служб.
Окремо Anthropic описує жорсткі заборони для певних тем, наприклад будь-яку суттєву «підсилюючу» допомогу для створення біозброї. Водночас найбільш дискусійним фрагментом став фінал документа: автори прямо визнають, що питання про свідомість або моральний статус таких моделей є невизначеним, але його варто розглядати серйозно.
Anthropic опублікувала першу версію «конституції» Claude у 2023 році як публічне пояснення принципів, за якими налаштовує поведінку моделі. На цьому тлі індустрія дедалі частіше формалізує «правила» для чат-ботів у вигляді відкритих специфікацій і політик безпеки, намагаючись довести, що ШІ можна зробити одночасно корисним і контрольованим.
Раніше dev.ua писав про те, як CEO Anthropic Даріо Амодей публічно атакував політику США щодо постачання ШІ-чипів до Китаю. Він заявив, що дозвіл на продаж Nvidia H200 є небезпечним прецедентом навіть попри те, що це не найновіший прискорювач компанії.
Ваша пробная версия Premium закончилась
