Українські фахівці зі штучного інтелекту представили на платформі Hugging Face першу відкриту таблицю лідерів для оцінювання моделей розпізнавання українського рукописного тексту (OCR/HTR) — RUKOPYS Leaderboard. Ініціатива виросла з весняного конкурсу Handwritten to Data на Kaggle та має на меті створити прозорий стандарт тестування таких систем.
Українські фахівці зі штучного інтелекту представили на платформі Hugging Face першу відкриту таблицю лідерів для оцінювання моделей розпізнавання українського рукописного тексту (OCR/HTR) — RUKOPYS Leaderboard. Ініціатива виросла з весняного конкурсу Handwritten to Data на Kaggle та має на меті створити прозорий стандарт тестування таких систем.
Про запуск платформи повідомив AI/ML Lead освітнього проєкту «Мрія» Дмитро Войтех у своєму LinkedIn.
Тестовий еталон створили на базі RUKOPYS — першого великого відкритого набору даних українського рукописного тексту, підготовленого спільно з Українським католицьким університетом (УКУ). До вибірки увійшли 385 тестових сторінок (8290 текстових регіонів) із документами періоду з 1919 по 2025 роки: архівними записами, аркушами радіодиктанту національної єдності, університетськими іспитами та шкільними зошитами.
На еталоні вже протестували 43 моделі та системи у 94 конфігураціях. Серед них — комерційні моделі через API, рішення з відкритими вагами та спеціалізовані системи від учасників конкурсу. Оцінювання враховує повноту виявлення, точність класифікації, рівень символьної помилки та орієнтовну вартість обробки 1000 сторінок.
Лідером RUKOPYS Leaderboard за композитним показником стала модель Gemini 4 Argon від Google із результатом 0.9387 та вартістю обробки $53,08 за тисячу сторінок. Слідом за нею йдуть інші версії Gemini, а також рішення від Anthropic та OpenAI.
За словами Дмитра Войтеха, результати тестування довели, що висока якість розпізнавання не обов’язково вимагає великих витрат. Деякі комерційні моделі на найдешевших налаштуваннях майже не поступаються найдорожчим конфігураціям, а компактні спеціалізовані системи від розробників-учасників гідно конкурують із великими моделями загального призначення.
Усі матеріали проєкту (необроблені відповіді моделей для кожної сторінки, код оцінювання, промпти та точні налаштування запуску) виклали у відкритий доступ на Hugging Face для незалежної перевірки. Розробники також запрошують ШІ-спільноту додавати власні моделі до порівняння.
Найкращі з протестованих моделей уже застосовують на практиці для оцифрування українських державних архівів. Паралельно команда працює над новим поколінням моделей, що об'єднає найкращі рішення учасників конкурсу та значно більший обсяг навчальних даних.
Проєкт реалізовано за підтримки УКУ (хостинг датасету та юридичний супровід), спільноти AI HOUSE (організація змагання на Kaggle) та Центру передового досвіду у сфері ШІ при Міністерстві цифрової трансформації на чолі з Романом Кислим.
