В OpenAI прогнозируют, что в ближайшее десятилетие может появиться искусственный интеллект, превосходящий возможности человеческого разума. В компании беспокоятся, что если такой ИИ действительно возникнет, то нет гарантии, что он будет дружелюбно настроен к человечеству.
В OpenAI прогнозируют, что в ближайшее десятилетие может появиться искусственный интеллект, превосходящий возможности человеческого разума. В компании беспокоятся, что если такой ИИ действительно возникнет, то нет гарантии, что он будет дружелюбно настроен к человечеству.
Чтобы подготовиться к этому вызову, в OpenAI решили сформировать команду, которая займется разработкой способов управления и контроля над «суперинтеллектуальным» ИИ. Ее должен возглавить Илья Суцкевер (Ilya Sutskever), главный научный сотрудник и соучредитель компании, передает TechCrunch.
В блоге, опубликованном Суцкевером и его коллегой Яном Лейке (Jan Leike), говорится, что в OpenAI пока нет решения, которое позволило бы управлять очень умным ИИ и не дать ему выйти из-под контроля.
«Наши текущие методы, такие как обучение с подкреплением на основе обратной связи, полагаются на способность человека контролировать ИИ. Но люди не смогут надежно контролировать системы ИИ, которые намного умнее нас», — пишут авторы блога
Чтобы продвинуться в области контроля над суперинтеллектуальным ИИ, OpenAI создает новую команду под названием Superalignment, которую возглавят Сацкевер и Лейке. В их распоряжении будет до 20% вычислительных мощностей, которыми компания владеет на сегодня. Ученые и инженеры OpenAI будут работать над решением технических проблем потенциально опасного ИИ в течение ближайших четырех лет.
Команда планирует «широко делиться плодами» своих усилий и хочет поспособствовать безопасности даже тех моделей ИИ, которые не принадлежат OpenAI.
