DeepSeek разом із дослідниками Університету Цінхуа розробив техніку, яка поєднує два методи: генеративне моделювання винагороди (GRM) і самостійне налаштування критики. Цей подвійний підхід може допомогти LLM надавати кращі та швидші результати на загальні запити.
DeepSeek разом із дослідниками Університету Цінхуа розробив техніку, яка поєднує два методи: генеративне моделювання винагороди (GRM) і самостійне налаштування критики. Цей подвійний підхід може допомогти LLM надавати кращі та швидші результати на загальні запити.
Новий метод має на меті допомогти моделям штучного інтелекту краще дотримуватися людських уподобань, пропонуючи винагороду за більш точні та зрозумілі відповіді, говориться у статті, опублікованій на платформі arXiv.
Навчання з підкріпленням довело свою ефективність у прискоренні виконання завдань штучного інтелекту у вузьких галузях і сферах. Однак розширення його на більш загальні моделі виявилося складним завданням — і саме цю проблему команда DeepSeek намагається вирішити за допомогою того, що вона називає самостійним налаштуванням критики.
Генеративне моделювання винагороди (GRM) — це процес, який орієнтує LLM на людські уподобання. Цей метод стане ключовим компонентом наступних ШІ-моделей.
Згідно зі статтею, нова стратегія перевершила наявні методи та моделі за різними тестами, і результат показав кращу продуктивність із меншими обчислювальними ресурсами.
За словами дослідників, DeepSeek має намір зробити GRM-моделі відкритими, але коли саме це буде, не повідомляють.
У січні китайський стартап DeepSeek представив нову версію ШІ — DeepSeek-R1, яка майже за тиждень випередила свого основного конкурента ChatGPT в App Store в США. Своєю популярністю DeepSeek-R1 спровокувала падіння цін на акції технологічних компаній, включно з топовим виробником графічних процесорів Nvidia (статки його CEO Дженсена Хуанга зменшились на понад $20 млрд).
Пізніше OpenAI звинуватила китайський DeepSeek у використанні американських моделей ШІ для навчання чат-бота, а в різних країнах почали його блокувати.
