Мовна модель Code Llama має дві головні переваги: безплатний доступ та конфіденційність. Крім того, доступна у трьох розмірах параметрів та двох варіантах, про які розповідаємо докладніше. А також додаємо результати порівняння з іншими ШІ-моделями для кодування на HumanEval, Multilingual HumanEval та MBPP.
Мовна модель Code Llama має дві головні переваги: безплатний доступ та конфіденційність. Крім того, доступна у трьох розмірах параметрів та двох варіантах, про які розповідаємо докладніше. А також додаємо результати порівняння з іншими ШІ-моделями для кодування на HumanEval, Multilingual HumanEval та MBPP.
— Code Llama підтримує різні мови програмування, такі як Python, Java, C++, PHP, TypeScript, C#, Bash тощо.
— Модель може обробляти до 100 000 токенів контексту, що означає. Для порівняння, ChatGPT зазвичай працює лише з приблизно 4000–8000 токенами, хоча довші доступні через API OpenAI.
— Доступна у трьох розмірах параметрів: версії з 7B, 13B і 34B. Більше параметрів, як правило, означає більшу складність і вищі можливості для нюансованих завдань, але вони також вимагають більшої обчислювальної потужності для роботи.
Різні розміри параметрів пропонують компроміс між швидкістю та продуктивністю. Хоча очікується, що модель 34B забезпечить точнішу допомогу в кодуванні, вона повільніша, потребує більше пам’яті та потужності графічного процесора для роботи. Навпаки, моделі 7B і 13B є швидшими та більш придатними для завдань, що вимагають низької затримки, наприклад завершення коду в реальному часі, і можуть працювати на одному GPU споживчого рівня, пише Ars Technica.
— Пропонують два варіанти: Code Llama — Python і Code Llama — Instruct. Варіант Python оптимізований спеціально для програмування на Python («точне налаштування на 100 Б токенів коду Python»), яка є важливою мовою в спільноті ШІ. З іншого боку, Code Llama — Instruct адаптований та доопрацьований Code Llama спеціально для кращого розуміння вхідних промптів.
Згідно з порівняльними тестами HumanEval, спеціалізована на Python модель 34B від Code Llama набрала 53,7%, що є найвищим показником серед доступних моделей.
Основні моделі Code Llama — із параметрами 7B, 13B і 34B — набрали 33,5, 36 і 48,8% відповідно HumanEval. Ці цифри значно нижчі за GPT-4. Instruct Code Llama також не зміг перевершити GPT-4: модель Instruct 34B набрала 41,5%.
Однак однією з ключових переваг Code Llama над GPT-4 є його доступність. Модель Code Llama є безплатною і може працювати на локальному комп’ютері, що має суттєві переваги конфіденційності, особливо під час роботи з власним кодом. GPT-4, з іншого боку, вимагає підписки (або платного доступу через API), і всі дані, які він обробляє, надсилаються до OpenAI через хмару.
Щоб використовувати Code Llama, знадобиться певний технічний досвід налаштування програмного забезпечення.
Можна подати запит на доступ до Code Llama, заповнивши форму на вебсайті Meta. Код, необхідний для запуску Code Llama, доступний на GitHub.
Раніше dev.ua писав про іспанського програміста, який влаштував батл між ChatGPT та Code Llama, що генерували код.
