Американський стартап Anthropic закликав провідні ШІ-лабораторії та світові уряди домовитися про тимчасове уповільнення розробки нових моделей. У компанії попереджають, що технології прогресують занадто швидко і вже найближчим часом ШІ може вийти на етап рекурсивного самоудосконалення без жодної участі людини.
Американський стартап Anthropic закликав провідні ШІ-лабораторії та світові уряди домовитися про тимчасове уповільнення розробки нових моделей. У компанії попереджають, що технології прогресують занадто швидко і вже найближчим часом ШІ може вийти на етап рекурсивного самоудосконалення без жодної участі людини.
Про це йдеться в матеріалі WSJ із посиланням на блог Anthropic. Авторами цієї ініціативи виступили керівниця внутрішнього дослідного інституту Марина Фаваро та співзасновник стартапу Джек Кларк, які пропонують розробити надійну систему взаємних перевірок для контролю за паузою.
Розробники наголошують, що хоча рекурсивне самоудосконалення моделей ще не розпочалося, цей момент може настати набагато раніше, ніж суспільство та державні інституції встигнуть адаптуватися.
«Ми вважаємо, що для світу було б добре мати можливість уповільнити або тимчасово призупинити передовий розвиток ШІ, щоб соціальні структури та дослідження з безпеки могли йти в ногу з прогресом технології», — зазначають представники Anthropic.
Водночас у компанії визнають складність контролю за дотриманням такої паузи. Вони порівнюють цю проблему з договорами про ядерне роззброєння, але додають, що у сфері ІТ запобігти обману значно важче, оскільки тренувальні запуски моделей набагато легше приховати, ніж ракетні шахти.
Критики ініціативи припускають, що попередження про небезпеку є лише хитрим маркетинговим ходом для привернення уваги. Зокрема, стартапу закидають штучне обмеження доступу до надпотужної моделі кібербезпеки Mythos під приводом турботи про безпеку.
Проте експерти застерігають від однозначних оцінок. Професор Школи Уортона Ітан Моллік зазначає, що всередині таких корпорацій завжди точиться боротьба між різними групами впливу. За його словами, там є і прагматичні юристи з маркетологами, і ядро розробників, і філософи, які щиро переймаються майбутнім людства та намагаються діяти як запобіжники.
Раніше технологічні лідери звернулися з відкритим листом до законодавців США, у якому закликають Конгрес ухвалити правила, що усунуть тривожну прогалину в біобезпеці, яка, за їхніми словами, може спровокувати глобальну пандемію.
