Створення GPT-4 вимагало спільної роботи сотень спеціалістів. Тепер OpenAI заявляє, що може відновити GPT-4 лише з 5–10 людьми, і все завдяки досвіду, отриманому при створенні своєї останньої моделі GPT-4.5.
Створення GPT-4 вимагало спільної роботи сотень спеціалістів. Тепер OpenAI заявляє, що може відновити GPT-4 лише з 5–10 людьми, і все завдяки досвіду, отриманому при створенні своєї останньої моделі GPT-4.5.
У п’ятничному подкасті OpenAI, Сем Альтман запитав у трьох ключових інженерів, які стоять за GPT-4.5: яка найменша команда OpenAI могла б сьогодні переробити GPT-4 з нуля?
При цьому Альтман зазначив, що на створення GPT-4 пішли майже всі зусилля компанії, а це сотні людей, пише Business Insider.
Алекс Паіно, який керував підготовкою машинного навчання для GPT-4.5, сказав, що для перепідготовки GPT-4 тепер ймовірно знадобиться лише від 5 до 10 осіб.
«Ми тренували GPT-4o, модель калібру GPT-4, яку ми перенавчали, використовуючи багато з того ж матеріалу, що і в дослідницькій програмі GPT-4.5», — сказав Паіно. «Для проведення самого запуску насправді потрібна набагато менша кількість людей».
Даніель Селсам, дослідник OpenAI, який працює над ефективністю даних та алгоритмами, погодився, що відновити GPT-4 тепер буде набагато простіше.
«Просто дізнавшись, що хтось інший щось зробив, стає набагато простіше», — сказав він. «Я відчуваю, що сам факт того, що щось можливо, є величезним чіт-кодом».
У лютому OpenAI випустила GPT-4.5, заявивши, що це найбільша і найпотужніша модель компанії на сьогодні. За словами Паіно, вона розроблена, щоб бути «в 10 разів розумнішою», ніж GPT-4, яка була випущена у березні 2023 року.
«Ми в 10 разів перевершуємо те, що робили раніше, за допомогою цих попередніх тренувань GPT», — сказав Паіно.
Щодо того, що потрібно для наступного 10- або 100-кратного стрибка в масштабі, Селсам сказав, що це ефективність даних.
Моделі GPT дуже ефективно обробляють інформацію, але існує «стеля, яка обмежує глибину розуміння, яку вони можуть отримати з даних», — сказав він. — «У певний момент, коли обчислення продовжують зростати та зростати, дані зростають набагато повільніше і вони стають вузьким місцем».
За його словами, якщо вийти за рамки цього, то знадобляться «деякі алгоритмічні інновації», щоб отримати більше цінності з тієї самої кількості даних.
