UNIT.City — місце, де люди працюють... КРАЩЕ! Обирай свій простір просто зараз 👉
Наталя ХандусенкоШІ
1 жовтня 2025, 11:01
2025-10-01
Meta представила нову ШІ-модель для програмування. CWM вивчає, як працює код, а не лише його вигляд
Команда дослідників ШІ Meta представила нову велику мовну модель (LLM) для написання коду. Вона поглиблює розуміння коду, вивчаючи не тільки його зовнішній вигляд, але і його поведінку під час виконання. Модель під назвою Code World Model (CWM) пройшла навчання на величезних масивах даних про те, як код взаємодіє із середовищем, що дає їй змогу сформувати внутрішню «модель світу» принципів роботи обчислювальних систем.
Команда дослідників ШІ Meta представила нову велику мовну модель (LLM) для написання коду. Вона поглиблює розуміння коду, вивчаючи не тільки його зовнішній вигляд, але і його поведінку під час виконання. Модель під назвою Code World Model (CWM) пройшла навчання на величезних масивах даних про те, як код взаємодіє із середовищем, що дає їй змогу сформувати внутрішню «модель світу» принципів роботи обчислювальних систем.
CWM не лише вивчає динаміку свого середовища, але й демонструє відмінну продуктивність на типових тестах із програмування та математики. Це створює новий перспективний напрям для тренування ШІ-агентів, які зможуть виконувати більш комплексні та динамічні завдання з розробки софту у великих компаніях. Модель CWM є частиною загальної стратегії, метою якої є перехід LLM від прогнозування наступного токена до створення повноцінних «моделей світу», пише VentureBeat.
Зазвичай модель навчається кодування, передбачаючи наступну інструкцію в програмі, подібно до того, як вона передбачає наступне слово в реченні. Проте дослідники стверджують, що для справжнього опанування кодування модель повинна розуміти «не лише як виглядає код, але й що він робить під час виконання». Ця навичка є фундаментальною для інженерів-програмістів, які мають загальне розуміння того, як зміни в коді вплинуть на локальні змінні або загальну поведінку їхньої програми. Програмісти думають про код не як про послідовність токенів, а як про низку пов’язаних компонентів (змінні, об'єкти, функції, модулі тощо), які вони потім перетворюють на послідовність інструкцій. Іншими словами, вони розробляють «модель світу» своєї програми під час її створення або внесення змін до неї.
Цю здатність «моделювання світу» часто нехтують у великих мовних моделях аж до завершення основного тренування, і саме цьому підходу кидає виклик команда Meta.
Як працює модель CWM
Джерело: VentureBeat
CWM — це нова велика мовна модель (LLM), розроблена для розв’язання цих проблем шляхом тренування на великих обсягах «даних моделювання світу коду». Замість того щоб чекати фінального етапу доналаштування, CWM навчається, як поводиться код, уже на стадії «проміжного тренування». Гіпотеза така: якщо передбачення моделі з самого початку базуватимуться на динаміці роботи комп’ютерних систем, це створить значно сильнішу основу для подальшого навчання та методів навчання з підкріпленням.
Дослідники зосередилися на двох ключових типах даних.
Перший — це трасування виконання коду Python, які є покроковими записами того, як змінюється внутрішній стан програми (наприклад, її змінні) під час виконання кожного рядка коду (на відміну від класичної схеми, де моделі тренуються на коді та кінцевих результатах). Тренуючись на цих траєкторіях «спостереження-дія», CWM отримує глибше розуміння того, як інструкції впливають на загальну поведінку програми.
«Наша передумова полягає в тому, що навчання CWM семантиці, а не лише синтаксису програм, має допомогти як у написанні коду, так і в задачах міркування, таких як верифікація, тестування та налагодження», — пишуть дослідники.
Другий тип даних складається з агентних взаємодій у середовищах Docker. Команда створила генератор синтетичних даних під назвою ForagerAgent, який імітує агента розробки програмного забезпечення, що виконує такі завдання, як виправлення помилок або впровадження нових функцій. Спостерігаючи за цими багатоетапними взаємодіями у великих масштабах на ранніх етапах навчання, CWM вивчає динаміку цих середовищ ще до того, як його буде налаштовано для виконання конкретних завдань у тих самих середовищах.
На практиці це дозволяє CWM міркувати про код так, як це робить розробник-людина. Наприклад, коли модель отримує завдання з конкурсного програмування, CWM може створити початкове рішення, потім розробити власні вхідні/вихідні тести, щоб перевірити його правильність, і, нарешті, порівняти свій прогнозований результат із фактичними результатами виконання коду. Цей цикл самоперевірки є прямим наслідком її тренування на основі «моделі світу».
CWM в дії
Джерело: VentureBeat
Модель має 32 млрд параметрів і контекстне вікно до 131 000 токенів.
На SWE-bench Verified, тесті, який передбачає розв’язання реальних проблем з репозиторіїв GitHub, CWM досягла показника успішності 65,8%, перевершивши інші відкриті моделі подібного розміру. Вона також отримала високі бали на LiveCodeBench (бенчмарку для змагального програмування), Math-500 та AIME 2024 (математичне міркування) і CruxEval (прогнозування вихідних даних коду Python).
На основі отриманих результатів науковці переконані, що моделі світу «можуть покращити автономне кодування, дозволити покроково відтворювати виконання коду Python та показати перші переваги, які міркування отримує від такого підходу».
Втім, вони також підкреслюють недоліки моделі. CWM опублікована як суто дослідницька модель за некомерційною ліцензією, і її не слід використовувати як загальнодоступного помічника чи чатбота. Хоча вона й отримала певну інформацію для виконання команд, модель ще не пройшла необхідної комплексної оптимізації для розмовного режиму.
«В жовтні випускаємо VR-шолом для аватарів, в «чіпування» Neuralink Маска вірю мало». Про що глава Meta Цукерберг 3 години говорив в подкасті Джо Рогана
25 серпня вийшла чергова серія популярного подкасту The Joe Rogan Experience, гостем якого став глава компанії Meta Марк Цукерберг. Розповідаємо про головне з майже 3-годинного інтерв’ю.
