Языковая модель Code Llama, сконфигурированная для задач кодировки, которую Meta представила в августе 2023 года, на днях стала доступна на GitHub.
Языковая модель Code Llama, сконфигурированная для задач кодировки, которую Meta представила в августе 2023 года, на днях стала доступна на GitHub.
«Мы раскрываем мощность больших языковых моделей, и наша последняя версия Code Llama теперь доступна отдельным лицам, создателям, исследователям и компаниям любого размера, чтобы они могли экспериментировать, внедрять инновации и ответственно масштабировать свои идеи», — сообщили в анонсе.
Code Llama включает в себя весовые коэффициенты модели и исходный код для предварительно подготовленных и точно настроенных моделей языка Llama — параметры от 7B до 34B. Этот репозиторий предназначен как минимальный пример загрузки моделей и запуска выводов.
Code Llama поддерживает различные языки программирования, такие как Python, Java, C++, PHP, TypeScript, C#, Bash и т. д. Модель может обрабатывать до 100000 токенов контекста. Для сравнения, ChatGPT обычно работает только с примерно 4000–8000 токенами, хотя более длинные доступны через API OpenAI.
Загрузить модельные весы и токенизеры Code Llama можно на сайте Meta, предварительно приняв лицензию. После одобрения запроса пользователь получит подписанный URL-адрес по электронной почте. Затем необходимо запустить сценарий download.sh, передав URL-адрес, предоставленный во время запроса на начало загрузки.
Ссылки оканчиваются через 24 часа и рассчитаны на определенное количество загрузок. После исчерпания лимита появится сообщение об ошибке 403: Forbidden, но в анонсе сообщают, что можно будет отправить запрос на ссылку повторно.
Подробности о примерах использования кода можно найти на странице .
Информацию о преимуществах и параметрах Code Llama, а также результаты сравнения с другими ШИ-моделями для кодирования на HumanEval, Multilingual HumanEval и MBPP, можно найти здесь. Кроме того, ранее мы писали о батле между ChatGPT и Code Llama, который устроил испанский программист.
