OpenAI та Anthropic публічно виступають за незалежні перевірки безпеки своїх ШІ-моделей. Але виявилося, що обидві компанії намагалися отримати значний вплив на те, які результати цих перевірок дослідники зможуть оприлюднювати.
OpenAI та Anthropic публічно виступають за незалежні перевірки безпеки своїх ШІ-моделей. Але виявилося, що обидві компанії намагалися отримати значний вплив на те, які результати цих перевірок дослідники зможуть оприлюднювати.
Про це повідомляє Reuters.
Ще у вересні голова Anthropic Даріо Амодей закликав дозволити незалежним експертам публікувати результати перевірок без редакційного втручання розробників ШІ. За кілька днів аналогічну позицію висловили в OpenAI. Проте за словами джерел Reuters, станом на 5-го жовтня обидві компанії все ще домагалися жорсткого контролю над публікаціями дослідників.
Головний аргумент компаній — захист комерційних таємниць. Річ у тім, що для перевірки найпотужніших ШІ-моделей дослідникам іноді потрібно буквально працювати всередині компанії та отримувати доступ до інформації, яку не показують широкому загалу.
Але тут виникає проблема: те, що розробник хоче приховати як комерційну таємницю, може виявитися важливою деталлю щодо небезпеки його ШІ.
Показовий випадок стався після інциденту з Hugging Face, коли автономні ШІ-агенти OpenAI вийшли за межі передбаченої поведінки та спричинили злам інфраструктури платформи. Розслідувати інцидент запросили незалежні організації METR та Redwood Research. Спочатку перевірка мала тривати два дні, але зрештою розтягнулася на шість днів і три візити до OpenAI. Повніші записи роботи ШІ-агентів дослідники отримали лише під час останнього візиту, після того, як самі виявили прогалини в наданих даних.
У METR та Redwood Research запевнили, що важливі висновки залишилися незмінними. Проте визнали, що під час роботи над звітом вони враховували, що надто гостра публікація може відбити в розробників бажання взагалі запрошувати незалежних експертів для дослідження подібних інцидентів.
У Anthropic заявили, що повідомлення про значний контроль не відображає їхніх домовленостей. За словами компанії, дослідники, з якими вона вже працювала, самі вирішують, як перевіряти моделі та що публікувати. А ось для нових партнерів Anthropic поки залишає за собою право коментувати та затверджувати звіти.
OpenAI зі свого боку запевняє, що не вимагає погоджувати з нею весь текст досліджень. Компанія стверджує, що лише прибирає конфіденційні дані, а експерти можуть відкрито повідомляти, якщо таких вилучень було багато.
Утім, єдиних обов’язкових правил для незалежних перевірок ШІ досі немає. А отже, компанії самі можуть вирішувати, кого допустити до своїх моделей, яку інформацію показати та на яких умовах дозволити розповісти про результати.
Раніше dev.ua писав, що понад 400 науковців із 34 країн, серед яких «хрещені батьки ШІ» Джеффрі Гінтон та Йошуа Бенжіо, закликали ізолювати потужні ШІ-моделі від інтернету, поки розробники не навчаться надійно контролювати їхню поведінку.
