AI Agents Engineering: AI-агенти на Google ADK 2.0 + Go SDK ➡️

Дослідник Anthropic звільнився через страх перед неконтрольованим ШІ. Він каже, що AI може знищити людство до кінця десятиліття

Джейкоб Коксон, який працював у OpenAI та Anthropic, заявив, що обидві компанії рухаються до самовдосконалюваного суперінтелекту надто швидко. За його словами, дослідники всередині індустрії серйозно побоюються, що такий ШІ може становити загрозу для людства.

Залишити коментар
Дослідник Anthropic звільнився через страх перед неконтрольованим ШІ. Він каже, що AI може знищити людство до кінця десятиліття

Джейкоб Коксон, який працював у OpenAI та Anthropic, заявив, що обидві компанії рухаються до самовдосконалюваного суперінтелекту надто швидко. За його словами, дослідники всередині індустрії серйозно побоюються, що такий ШІ може становити загрозу для людства.

Дослідник Джейкоб Коксон оголосив про звільнення з Anthropic і заявив, що залишає індустрію штучного інтелекту. За його словами, останні три роки він займався pretraining-дослідженнями в OpenAI та Anthropic.

Коксон заявив, що обидві компанії, на його думку, рухаються до створення самовдосконалюваного суперінтелекту і роблять це без достатніх заходів безпеки. Він назвав ситуацію «гонкою» та заявив, що компанії «граються з нашими життями».

«AI може вбити нас усіх до кінця десятиліття»

У серії дописів після звільнення Коксон написав, що люди, які створюють сучасні AI-системи, серйозно розглядають сценарій, за якого штучний інтелект може знищити людство до кінця цього десятиліття.

Він наголосив, що це, за його словами, не публічний маркетинговий меседж. Коксон стверджує, що деякі керівники та старші дослідники в приватних розмовах висловлюють значно серйозніші побоювання, ніж публічно.

Коксон також закликав не недооцінювати можливості майбутніх AI-систем. Він очікує, що вони зможуть виконувати завдання, які зараз потребують людської експертизи, отримувати доступ до ресурсів і працювати в різних сферах значно швидше за людей.

За його словами, частина дослідників уже використовує слова «crunchtime» та «endgame», описуючи нинішній етап розвитку AI. В інтерв’ю The Wall Street Journal Коксон заявив, що за найбільш агресивними сценаріями вже до кінця 2027 року ситуація може вийти з-під контролю.

Чому Коксон пішов спочатку з OpenAI, а потім з Anthropic

Коксон працював в OpenAI з 2023 року до липня 2026-го. За даними Business Insider, там він, зокрема, працював над GPT-4o. У липні він перейшов до Anthropic як дослідник.

За словами Коксона, він пішов в Anthropic саме тому, що компанія відома своїм фокусом на безпеці AI. Однак згодом він дійшов висновку, що навіть Anthropic не може самостійно розв’язати проблему безпеки суперінтелекту, поки між AI-лабораторіями триває конкуренція.

Коксон описує різницю між двома компаніями так: на його думку, в OpenAI частина співробітників недостатньо усвідомлює масштаби потенційних наслідків, тоді як в Anthropic ці ризики добре розуміють. Водночас, за його словами, Anthropic продовжує рухатися вперед, оскільки вважає, що якщо вона не створить потужний AI першою і не спробує зробити це відповідально, це зробить інша компанія.

Коксон вважає, що вирішення цієї проблеми потребує координації між AI-лабораторіями, а можливо — тимчасової заборони на подальше нарощування можливостей моделей.

Він також закликав інших дослідників подумати про те, чи готові вони запускати навчання суперінтелектуальних систем, не маючи достатнього розуміння того, як ці системи працюють і як контролювати їхню поведінку.

Керівник AI safety в Anthropic погодився з ним

Після публікацій Коксона на них відреагував Еван Губінгер, який очолює напрям Alignment Science в Anthropic.

Губінгер заявив, що погоджується з Коксоном і що він та його колеги справді вважають можливим сценарій, за якого AI може знищити людство. Особисто Губінгер оцінює ймовірність такого сценарію більш ніж у 10% протягом наступного десятиліття.

Водночас він окремо уточнив, що вважає ризик від нинішніх моделей низьким. Його побоювання стосуються іншого сценарію — появи суперінтелекту внаслідок recursive self-improvement, тобто багаторазового самовдосконалення системи. За словами Губінгера, цей процес може відбуватися швидше, ніж очікували раніше.

Губінгер також заявив, що Anthropic намагається вирішити проблему, однак компанія ще не має плану, який дозволив би вирішити проблему alignment для суперінтелекту, і наразі не перебуває на очевидному шляху до такого рішення.

У AI-індустрії вже закликали пригальмувати розвиток

Заяви Коксона та Губінгера з’явилися на тлі дискусії про те, чи потрібно сповільнити розвиток найбільш потужних AI-систем.

У липні 2026 року 1386 співробітників frontier AI-компаній підписали ініціативу Pacing the Frontier. Серед підписантів — працівники OpenAI, Anthropic, Google, Meta та інших компаній. Вони закликали уряд США підтримати міжнародні механізми, які дозволили б контрольовано сповільнювати розвиток frontier AI, якщо це стане необхідним.

Одним із приводів для дискусії стали можливості AI-агентів, які можуть виконувати складні послідовності дій без постійного контролю людини. Учасники ініціативи окремо говорили про майбутню автоматизацію самого процесу AI-досліджень — ситуацію, коли AI почне допомагати створювати наступні покоління AI.

Коксон вважає, що саме перехід до систем, здатних самостійно покращувати власні можливості, є принципово новим етапом ризику.

Водночас його заяви та оцінка Губінгера є їхніми прогнозами та оцінками ризику, а не підтвердженням того, що сучасні AI-системи вже здатні знищити людство або що такий сценарій неодмінно станеться.

«Ми занадто покладалися на штучний інтелект, а не на власне критичне мислення». Туристи в США все частіше губляться в горах через галюцинації повязані зі штучним інтелектом
«Ми занадто покладалися на штучний інтелект, а не на власне критичне мислення». Туристи в США все частіше губляться в горах через галюцинації, пов’язані зі штучним інтелектом
По темi
«Ми занадто покладалися на штучний інтелект, а не на власне критичне мислення». Туристи в США все частіше губляться в горах через галюцинації, пов’язані зі штучним інтелектом
Читайте головні IT-новини країни в нашому Telegram
Читайте головні IT-новини країни в нашому Telegram
По темi
Читайте головні IT-новини країни в нашому Telegram
Читайте також
Штучний інтелект DALL-E навчився домальовувати картини. Як це виглядає
Штучний інтелект DALL-E навчився домальовувати картини. Як це виглядає
Штучний інтелект DALL-E навчився домальовувати картини. Як це виглядає
1 коментар
Штучний інтелект почав озвучувати фільми на MEGOGO
Штучний інтелект почав озвучувати фільми на MEGOGO
Штучний інтелект почав озвучувати фільми на MEGOGO
6 коментарів
Штучний інтелект навчився реставрувати старі фотографії, перетворюючи їх на якісні зображення: відео
Штучний інтелект навчився реставрувати старі фотографії, перетворюючи їх на якісні зображення: відео
Штучний інтелект навчився реставрувати старі фотографії, перетворюючи їх на якісні зображення: відео
2 коментарі
«Чи є у мене талант, якщо комп’ютер може імітувати мене?». Штучний інтелект пише книги авторам Amazon Kindle. The Verge поспілкувався з авторами та виявив багато цікавого
«Чи є у мене талант, якщо комп’ютер може імітувати мене?». Штучний інтелект пише книги авторам Amazon Kindle. The Verge поспілкувався з авторами та виявив багато цікавого
«Чи є у мене талант, якщо комп’ютер може імітувати мене?». Штучний інтелект пише книги авторам Amazon Kindle. The Verge поспілкувався з авторами та виявив багато цікавого
Письменники-романісти використовують штучний інтелект для створення своїх творів. Видання про технології The Verge поспілкувалося з письменницею Дженніфер Лепп, яка випускає нову книгу кожні дев’ять тижнів, й дізналося про те, як працює штучний інтелект для написання романів. Наводимо адаптований переклад статті. 

Хочете повідомити важливу новину? Пишіть у Telegram-бот

Головні події та корисні посилання в нашому Telegram-каналі

Обговорення
Коментарів поки немає.