Центр компетенцій WINWIN AI при Мінцифрі спільно з Українським католицьким університетом та ініціативою lang-uk запустив Ukrainian LLM Leaderboard — відкритий рейтинг, який оцінює, наскільки добре великі мовні моделі працюють саме з українською мовою.
Центр компетенцій WINWIN AI при Мінцифрі спільно з Українським католицьким університетом та ініціативою lang-uk запустив Ukrainian LLM Leaderboard — відкритий рейтинг, який оцінює, наскільки добре великі мовні моделі працюють саме з українською мовою.
Ініціатори пояснюють запуск тим, що глобальні AI-бенчмарки переважно тестують моделі англійською, тоді як якість роботи з українською часто залишається поза увагою.
У результаті модель може демонструвати високі результати у світових рейтингах, але при роботі українською допускати помилки, використовувати російські кальки або неправильно розуміти контекст.
Український лідерборд тестує моделі на завданнях, наближених до реального використання.
Зокрема, ШІ має:
Тобто йдеться не лише про перевірку того, наскільки грамотно модель пише українською, а й про її здатність повноцінно виконувати різні типи завдань цією мовою.
Розробники рейтингу — експерти УКУ та спільноти lang-uk Юрій Панів і Дмитро Чаплінський. За даними Мінцифри, команда понад 10 років працює над технологіями обробки української мови.
Рейтинг створили як відкриту платформу. Код, дані та результати тестування опублікували на Hugging Face, щоб користувачі могли самостійно порівнювати моделі та перевіряти методологію.
Юрій Панів, аспірант УКУ та керівник розробки української мовної моделі Lapa, пояснює, що одна з головних цілей проєкту — зрозуміти сильні та слабкі сторони різних моделей саме в роботі з українською.
«Після появи великих мовних моделей було незрозуміло, як добре вони працюють для української мови: які їхні сильні та слабкі сторони, для яких завдань які моделі краще підходять», — зазначив він.
За його словами, лідерборд має допомогти бізнесу обирати моделі для інтеграцій, а дослідникам — порівнювати результати за єдиною системою.
У Мінцифрі наголошують, що питання якості української мови в AI важливе не лише для розробників.
ШІ вже використовується у державних сервісах, банкінгу та інших продуктах, якими користуються мільйони людей. Тому держава хоче мати інструмент, за допомогою якого можна порівнювати моделі перед їхнім впровадженням.
Окремо планують тестувати моделі на завданнях, характерних для держсектору: роботу з адміністративними процедурами, нормативними документами та персональними даними.
Ukrainian LLM Leaderboard планують розширювати. У майбутньому команда хоче оцінювати не лише роботу з текстом.
Серед запланованих напрямів — робота із зображеннями, етичність моделей та вартість їх використання українською мовою.
Окремий блок присвятять потребам державного сектору.
Переглянути рейтинг і методологію можна на Ukrainian LLM Leaderboard у Hugging Face.
Я б ще зробила до цієї новини невеликий блок із результатами самого рейтингу — хто зараз перший, які моделі тестували і де саме вони провалюються. Це зробить матеріал значно сильнішим, ніж просто новина про запуск платформи.
Нагадаємо, Мінцифри разом з «Київстар» розробляють національну мовну модель, яку CEO оператора Олександр Комаров назвав «найкращою з позиції українськості».
