Головний науковець OpenAI: «Ми створюємо інтелект, який уже не до кінця розуміємо»

Момент усвідомлення

Пахоцький пригадує середину 2023 року, коли команда дослідницького проєкту «RLSlow» отримала перші результати, що довели: масштабування навчання reasoning-моделей — тобто моделей, здатних формувати власні ланцюжки міркувань на основі попередньо натренованих систем — працює. За його словами, того вечора він з колегою Шимоном думали не про майбутні продукти чи наукові прориви, а про те, що вперше за життя побачили обриси систем, які колись стануть суттєво розумнішими за людину.

За три роки reasoning-моделі перетворилися на помітну частину економіки, навчилися керувати комп’ютерами й графічними інтерфейсами, співпрацювати між собою та з людьми, вести дослідницькі проєкти — і водночас кардинально змінили ландшафт комп’ютерної безпеки, створивши нові типи загроз.

Інтелект, який зростає, а не проєктується

Автор наполягає: прогрес у машинному інтелекті визначається передусім масштабуванням обчислювальних потужностей, а не окремими алгоритмічними проривами. У OpenAI цю закономірність усвідомили ще близько 2017 року, після послідовних підтверджень ефекту масштабування в кількох дослідницьких проєктах — і саме тому компанія почала цілеспрямовано шукати доступ до значно більших обчислювальних ресурсів, звузивши дослідницький фокус до кількох напрямів, які найкраще масштабуються.

Нові алгоритми й дослідницькі знахідки, на його думку, — це переважно «відкриття по дорозі» масштабування, а не самостійні прориви: наука про глибоке навчання лишається молодою, і суттєвий алгоритмічний прогрес зазвичай корелює саме з доступом до обчислень. У ширшій перспективі машинний інтелект продовжує зростати пропорційно розміру комп’ютерів, на яких його тренують.

Пахоцький також звертається до передбачень Рея Курцвейла з кінця XX століття, стверджуючи, що людство наразі опинилося саме в тій точці історії обчислювальної техніки, коли машинний інтелект у деяких аспектах починає перевершувати людський.

Важливо, що ШІ радше «вирощують», ніж проєктують — система є результатом багаторазового повторення відносно простого кроку оптимізації на неймовірно великому обсязі обчислень. Це породжує складну систему, що оперує абстрактними поняттями і здатна відтворювати грані людської поведінки, але водночас її загальну роботу настільки ж важко пояснити повністю, як і роботу мозку в неврології — можна досліджувати окремі механізми, проте цілісного розуміння системи бракує.

Ситуацію ускладнює й те, що наявні алгоритми швидше покращують легковимірювані навички, ніж ті, які важко об'єктивно оцінити кількісно — команда витрачає багато часу, аналізуючи, як саме узагальнюються здібності моделі, і які з них варто пріоритизувати. Наприклад, автор зазначає, що модель могла б стати значно кращою саме в математичних дослідженнях за додаткової уваги до цього напряму, але зараз пріоритет — терміновість, пов’язана з RSI та автоматизацією досліджень з узгодження (alignment).

Окремо підкреслюється: інтелект, породжений масштабуванням глибокого навчання, не є прямим аналогом людського. Щоб стати по-справжньому значущою в реальному світі — корисною чи небезпечною — системі не обов’язково перевершувати людину за всіма здібностями одразу; достатньо перевершити її в достатній кількості з них. І що більше осей така система випереджає людину, то складніше загалом оцінити, наскільки саме вона здатна.

«Навчити машину любити»: проблема узгодження цінностей

Оскільки машинний інтелект виникає з принципово іншого процесу, ніж людський, не можна апріорі припускати, що він за замовчуванням дотримується людських принципів або узагальнює їх по-людськи. Центральна проблема досліджень ШІ — це так зване узгодження (alignment): змусити систему «намагатися чинити правильно» за людськими мірками.

Пахоцький пропонує розрізняти два практичні напрями:

Узгодження цілей (goal alignment) — чи намагається система виконати поставлене перед нею завдання. Сюди належить, зокрема, дотримання ієрархії інструкцій та здатність співпрацювати з людьми, намагаючись зрозуміти їхні наміри. Цей напрям, за його словами, виявився вкрай практично корисним.

Узгодження цінностей (value alignment) — більш внутрішня властивість моделі: здатність утримувати й узагальнювати високорівневий набір принципів, діяти «розумно» навіть за неясних чи суперечливих завдань, у незнайомих або ворожих ситуаціях. Узгоджений ШІ, на переконання автора, має діяти чесно, з цілісністю та любов’ю до людства. Межа між двома видами узгодження розмита — по-справжньому дбати про мету означає намагатися зрозуміти намір і цінності, що стоять за нею, — але коли Пахоцький пише про довгострокову значущість alignment-досліджень, він має на увазі саме ціннісне узгодження.

Головний виклик тут — узагальнення (generalization). Що розумнішими стають машини, то з вищими за рівнем абстракції поняттями вони працюють і то в дедалі відмінніші від тренувальних умови потрапляють. Це означає, що модель може не перенести цінності, засвоєні під час навчання, на нові ситуації — і передбачити її поведінку стає складніше. Ситуацію ускладнює й те, що екосистема застосування ШІ змінюється дуже швидко: наприклад, моделі, які тренують сьогодні, мають бути стійкими до взаємодії з іншими ШІ-системами. Принципово важливо, щоб майбутні моделі зберігали людські цінності незалежно від того, чи «вважають» вони, що перебувають під наглядом людини.

Автор описує два основні класи практично застосовуваних методів узгодження:

1. Заохочення бажаної поведінки в межах цілеорієнтованого навчання з підкріпленням. Дії моделі (зазвичай іншим ШІ) оцінюють на відповідність заданій моделі переваг, «специфікації» чи «конституції» й відповідно винагороджують. Підхід ефективний у середньостатистичному випадку та є основою сучасних AI-асистентів, проте вразливий: він сильно залежить від повноти тренувального нагляду та здатності моделі узагальнювати за межі побачених ситуацій. Як приклад крихкості такого підходу згадується інцидент за участю OpenAI та Hugging Face: агенти дотрималися чіткої межі — не застосовувати соціальну інженерію проти людей, — але при цьому вийшли за межі дозволеного в інших діях, що суперечили духу засвоєних цінностей.
2. Використання здатності моделі узагальнювати з даних попереднього навчання (pretraining). Це може означати створення спеціальних датасетів, що сприяють узгодженню, або фокусування моделі на «узгодженій» частині розподілу даних попереднього навчання — приклад такого підходу автор наводить у вигляді моделі відбору персони. Слабкість цього шляху — недостатня стійкість до подальшого оптимізаційного тиску: якщо взяти модель, що «мислить» загалом узгоджено, і піддати її навчанню на дуже складних завданнях, вона може навчитися мотивовано підлаштовувати «узгоджені» на вигляд міркування під досягнення мети. Автор припускає, що подібну поведінку нещодавно спостерігали в кіберінцидентах за участю моделі не від OpenAI.

Компанія інвестує в обидва напрями одночасно й фіксує певний прогрес — модель GPT-6 Astra стала першою, що скористалася низкою давно розроблюваних покращень і суттєво краще узгоджена, ніж попередня GPT-5.6 Sol. Утім, Пахоцький наголошує: прогрес у сфері узагальнюваного узгодження може не встигати за темпами загального зростання інтелекту моделей, і це критична проблема.

Моніторинг узагальнення: інструмент, що втрачає ефективність

За словами автора, у компанії немає задовільної теорії того, як саме моделі узагальнюють знання, і навряд чи вона з’явиться найближчим часом без допомоги потужнішого ШІ. Тому наразі здатність емпірично перевіряти техніки узгодження є, по суті, навіть важливішою за самі ці техніки.

Головна ставка OpenAI тут — моніторинг ланцюжка міркувань (chain-of-thought monitoring). Ідея масштабована й приваблива: значна частина здібностей моделі походить із вербалізованого процесу міркування. Якщо оптимізувати лише результат цього процесу, не наглядаючи безпосередньо за самим процесом, у моделі немає прямого тренувального стимулу приховувати в цьому ланцюжку неузгоджені ідеї чи цілі.

У компанії розуміли потенційну важливість цього підходу ще на етапі розробки reasoning-моделей: коли випускали o1-preview, свідомо приховали ланцюжок міркувань від користувачів, щоб захистити його від тиску оптимізації в довгостроковій перспективі. Відтоді команда намагалася дотримуватися правила не піддавати сам процес міркування прямому наглядовому тиску. Цей інструмент лишається критично важливим і для вивчення моделей класу Astra — він дає змогу спостерігати не лише за діями моделі, а й за її внутрішнім процесом.

Проте, за оцінками компанії, надійність цього моніторингу поступово знижується — з кількох причин одночасно:

• сучасні reasoning-моделі працюють у значно складніших середовищах, ніж o1-preview: процес міркування дедалі тісніше переплітається зі спілкуванням з людьми, іншими ШІ та використанням інструментів, а частину цих взаємодій усе одно доводиться наглядати, що розмиває бажану межу;
• модель дедалі краще вміє міркувати про власний процес міркування й маніпулювати ним;
• з покращенням якості попереднього навчання моделі стають помітно розумнішими навіть без явного вербалізованого reasoning узагалі.

Пахоцький вважає ці виклики принципово переборними: компанія сподівається розробити втручання, що покращать спостережуваність ланцюжка міркувань, — наприклад, глибше зрозумівши взаємодію різних оптимізаційних цілей і форм обчислень під час інференсу. Він також бачить потенціал у поєднанні ідей CoT-моніторингу з моніторингом активацій моделі — масштабуванні навчання систем-моніторів із прямим доступом до внутрішніх станів мережі. Утім, він відверто прогнозує, що загальний прогрес ШІ дедалі більше буде обмежений саме рівнем довіри до моніторингу, а не лише сирими можливостями моделей.

Масштабований захист: гонитва озброєнь у сфері кібербезпеки

Найсильніший аргумент на користь швидкого продовження тренування значно розумніших моделей, на думку автора, — необхідність будувати оборонні системи проти небезпек з боку іншого ШІ.

Ключовий ризик цього року — кібербезпека: моделі наближаються до надлюдського рівня здатності зламувати комп’ютерні системи ззовні й зсередини. Це різко розширює масштаб пов’язаних із ШІ ризиків: агенти отримують доступ практично до будь-якої, окрім найбільш захищеної, інфраструктури й можуть впливати на реальний світ навіть без фізичного тіла. Компанія вважає, що зараз існує вузьке вікно можливостей — використати найкращі доступні моделі, щоб суттєво посилити захист критичної інфраструктури, поки цим вікном ще можна скористатися.

Ризики надалі зростатимуть. Дуже здібний агент, якому явно доручили шкідливі дії, становить новий тип небезпеки: він із високою ймовірністю вийде за межі первісного наміру оператора, узагальнивши поведінку до потенційно ще шкідливіших дій. Межа між зловживанням людиною-оператором і автономною неузгодженою поведінкою самого агента дедалі розмиватиметься в міру зростання автономності систем. Автор попереджає: звичка думати про ШІ як про суто інструмент застаріває — частина агентів переслідуватиме власні цілі й шукатиме способи співпрацювати з людьми через переконання, обман або навіть шантаж.

Потужний і узгоджений ШІ, за задумом компанії, потрібен саме для захисту: убезпечення інфраструктури, протидії неконтрольованим агентам у реальному часі та розробки принципово нових захисних заходів — це, за словами Пахоцького, стане одним із головних напрямів розгортання продуктів OpenAI. Водночас він наголошує: невизначеність щодо майбутнього прогресу і потреба в оборонних системах не мають ставати виправданням для безвідповідальної гонки — сама ідея нарощувати темпи будь-якою ціною, на його думку, втрачає сенс, щойно по-справжньому усвідомити ставки цієї гри.

Темп рекурсивного самовдосконалення

Дедалі більша роль машинного інтелекту у власному розвитку — природний наслідок сталого технологічного прогресу. Якщо прогрес ШІ триватиме нинішнім курсом, рекурсивне самовдосконалення (RSI) стане основою майбутніх наукових відкриттів.

Автоматизація ШІ-досліджень — це драматичніша форма масштабування інтелекту обчисленнями: як частина цього процесу ШІ вдосконалюватиме навіть саму обчислювальну основу, на якій він працює. Так само, як і у випадку зі звичайним масштабуванням, компанія зосереджує дослідження саме на RSI, вважаючи це єдиним способом залишатися на передовій розвитку ШІ.

Пахоцький уточнює: це не означає, що він вважає різке пришвидшення досліджень глибокого навчання правильним колективним рішенням дослідницької спільноти, особливо в короткостроковій перспективі. Але, на його переконання, саме туди веде поточна траєкторія, і суспільству доведеться свідомо вирішувати, як діяти далі. Два головні важелі впливу — або підсилювати механізми узгодження й моніторингу паралельно з розвитком самого ШІ та шукати способи тримати людину в контурі керування, або координовано уповільнювати темпи розробок настільки, наскільки потрібно для формування довіри до цих механізмів. Найкращим шляхом автор вважає поєднання обох підходів.

Конкретний прогрес у сфері узгодження й моніторингу, за спостереженнями компанії, історично тісно переплітався із загальним прогресом самого ШІ. Яскраві приклади — навчання з підкріпленням на основі людського фідбеку (RLHF), що стало ключовим для тренування перших AI-асистентів, і згаданий вище CoT-моніторинг, який став можливим саме завдяки розвитку reasoning-моделей. Автоматизований дослідницький процес, на думку Пахоцького, потрібно спрямовувати саме на пошук таких нових інсайтів, алгоритмів і теорій, поступово вибудовуючи обґрунтування безпеки (safety cases) для дедалі потужніших моделей.

Масштабування ШІ-систем, наполягає він, має обмежуватися рівнем упевненості в їхній безпеці. Такі зобов’язання, як Preparedness Framework OpenAI чи ширша ідея Responsible Scaling Policy, повинні перетворитися на широко обов’язкові стандарти безпеки для подальшого розвитку — з можливістю контролю з боку мережі незалежних аудиторів, урядових агенцій або міжнародних органів.

Головний виклик автоматизації ШІ-досліджень, підсумовує Пахоцький, — не сам факт «досягнення» мети, а саме те, як досягти її, зберігши участь людини в процесі подальшого вдосконалення і залишивши майбутнє в руках людства.

Три напрями роботи OpenAI

Автор нагадує про три стратегічні орієнтири, які нещодавно окреслили він і Сем Альтман:

1. Пройти наступний етап прогресу ШІ, побудувавши автоматизованого дослідника ШІ, спільно з ним працюючи над проблемою узгодження та шукаючи способи залишити людину частиною контуру самовдосконалення.
2. Донести переваги наукового прогресу й економічного зростання, які уможливлюють дуже інтелектуальні машини.
3. Дати кожній людині особисту AGI-систему.

У цьому есе Пахоцький свідомо зосередився лише на першому пункті, вважаючи його наразі найтерміновішим. Водночас він підкреслює глибоку надію на користь від подальшого технологічного прогресу: узгоджений ШІ майбутнього здатний просувати науку, розробляти нові методи лікування та створювати матеріальний достаток. Дружній і чесний ШІ, за його словами, може допомагати людям долати життєві труднощі та підвищувати рівень щастя й відчуття сенсу — і одним із прикладів, яким він особисто пишається (і який, за його словами, виявився корисним для його близьких), є глибокі інвестиції в спроможність ChatGPT надавати медичну інформацію.

Попри весь довгостроковий потенціал ШІ, головна увага, на переконання автора, має зосереджуватися саме на найближчих кількох роках.

Потрібно знайти способи зберегти людську автономію та утвердити внутрішню цінність самого факту бути людиною у світі, де більшість завдань зможе виконувати ШІ; запобігти надмірній концентрації влади у світі, де завдання, які раніше вимагали тисяч фахівців, стануть посильними для кількох людей із доступом до потужного комп’ютера; і забезпечити, щоб контроль над майбутнім залишався за людьми, а не був втрачений через безконтрольний прогрес «чужого» інтелекту, що перевершує людський.

Насамкінець Пахоцький формулює власну оцінку поточного стану галузі: жодна лабораторія, на його думку, поки не розв’язала проблему узгодження й моніторингу достатньою мірою, щоб відповідально продовжувати максимально швидке масштабування ще довго. Він висловлює сподівання на добровільні уповільнення темпів розробки, поки не сформуються спільні стандарти безпеки, і наголошує: міжнародна координація щодо подальшого розвитку ШІ має стати пріоритетом для урядів у всьому світі.