Языковая модель Code Llama имеет два главных преимущества: бесплатный доступ и конфиденциальность. Кроме того, доступна в трех размерах параметров и в двух вариантах, о которых рассказываем подробнее. А также добавляем результаты сравнения с другими ШИ-моделями для кодирования HumanEval, Multilingual HumanEval и MBPP.
Языковая модель Code Llama имеет два главных преимущества: бесплатный доступ и конфиденциальность. Кроме того, доступна в трех размерах параметров и в двух вариантах, о которых рассказываем подробнее. А также добавляем результаты сравнения с другими ШИ-моделями для кодирования HumanEval, Multilingual HumanEval и MBPP.
— Code Llama поддерживает различные языки программирования, такие как Python, Java, C++, PHP, TypeScript, C#, Bash и т. д.
— Модель может обрабатывать до 100 000 токенов контекста. Для сравнения, ChatGPT обычно работает только с примерно 4000–8000 токенами, хотя более длинные доступны через API OpenAI.
— Доступно в трех размерах параметров: версии 7B, 13B и 34B. Больше параметров, как правило, означает большую сложность и более высокие возможности для нюансированных задач, но они также требуют большей вычислительной мощности для работы.
Различные параметры предлагают компромисс между скоростью и производительностью. Хотя ожидается, что модель 34B обеспечит более точную помощь в кодировании, она медленнее, требует больше памяти и мощности графического процессора для работы. Напротив, модели 7B и 13B более быстры и более пригодны для задач, требующих низкой задержки, например завершения кода в реальном времени, и могут работать на одном GPU потребительского уровня, пишет Ars Technica.
— Предлагают два варианта: Code Llama — Python и Code Llama — Instruct. Вариант Python оптимизирован специально для программирования на Python («точная настройка на 100 Б токенов кода Python»), которая является важным языком в сообществе ИИ. С другой стороны, Code Llama — Instruct адаптированный и доработанный Code Llama специально для лучшего понимания входных промптов.
Согласно сравнительным тестам HumanEval, специализированная на Python модель 34B от Code Llama набрала 53,7%, что является самым высоким показателем среди доступных моделей.
Основные модели Code Llama — с параметрами 7B, 13B и 34B — набрали 33,5, 36 и 48,8% соответственно HumanEval. Эти цифры значительно ниже GPT-4. Instruct Code Llama также не смог превзойти GPT-4: модель Instruct 34B набрала 41,5%.
Однако одним из ключевых преимуществ Code Llama над GPT-4 является его доступность. Модель Code Llama является бесплатной и может работать на локальном компьютере, что имеет существенные преимущества конфиденциальности, особенно при работе с собственным кодом. GPT-4, с другой стороны, требует подписки (или платного доступа через API), и все обрабатываемые им данные отправляются в OpenAI через облако.
Для использования Code Llama требуется определенный технический опыт настройки программного обеспечения.
Можно запросить доступ к Code Llama, заполнив форму на веб-сайте Meta. Код, необходимый для запуска Code Llama, доступен на GitHub.
Ранее dev.ua писал об испанском программисте, который устроил батл между ChatGPT и Code Llama, генерировавшими код.
