Юрій Панів, один з розробників української національної ШІ-моделі Lapa LLM, повідомив про створення лідерборду, що містить заміри як добре працюють великі мовні моделі з українською мовою.
Юрій Панів, один з розробників української національної ШІ-моделі Lapa LLM, повідомив про створення лідерборду, що містить заміри як добре працюють великі мовні моделі з українською мовою.
Його створили разом командою розробників LLM для української мови MamayLM. «Ми заміряли всі практичні відкриті мовні моделі, які користувач може запустити в себе на комп’ютері. До того ж проєкт замірів повністю відкритий, інші дослідники можуть відтворити заміри самостійно для прозорості», — розповів Панів.
Лідерборд відображає показники ефективності мовних моделей на тестах української мови, які використовувалися під час розробки Lapa LLM. Він оцінює моделі за різними критеріями та завданнями з NLP (обробки природної мови) українською мовою. Оцінюються такі вміння:
Наразі в лідерборді представлені такі LLM як Lapa LLM, MamayLM, Qwen, Llama та Gemma. В трійку кращих за середнім показником увійшли українські моделі Lapa LLM та MamayLM, а також Gemma від Google.
Найближчим часом розробники лідерборду планують додати заміри комерційних мовних моделей від OpenAI, Anthropic, Google, DeepSeek, порівняти як працюють моделі з обробкою зображень, що містять український текст, та додати заміри етичності моделей. Вони також хочуть завантажити повні логи бенчмарків (по 2 Гб на кожну модель), додати порівняння ефективності токенізаторів і збільшити кількість параметрів.
Лідерборд можна переглянути на Hugging Face, а його код доступний на GitHub.
