На початку лютого Мінцифри запустило AI Center of Excellence, перший в Україні, який в тому числі працює над розробкою української великої мовної моделі (LLM). CTO AI Center of Excellence й AICTO Мінцифри Дмитро Овчаренко повідомив, що наразі відомо про розробку моделі і коли можна буде чекати її до виходу.
На початку лютого Мінцифри запустило AI Center of Excellence, перший в Україні, який в тому числі працює над розробкою української великої мовної моделі (LLM). CTO AI Center of Excellence й AICTO Мінцифри Дмитро Овчаренко повідомив, що наразі відомо про розробку моделі і коли можна буде чекати її до виходу.
Національна велика мовна модель (LLM), за словами Дмитра Овчаренка, зазвичай базується на open-source архітектурах, таких як LLaMA, Mistral або Gemma, і доповнюється специфічними національними мовними корпусами, повідомив CTO AI Center of Excellence в інтервʼю для DOU.
Наразі команда ще не приступила до безпосередньої розробки моделі. Зараз за словами AICTO триває етап формування концепції: визначаємо задачі, формуємо оргструктуру, збираємо команду, оцінюємо бюджет і таймлайн, шукаємо партнерів і механізми залучення науковців, університетів і бізнесу. Крім того, він зазначив, що процес розробки точно буде максимально публічним.
«Єдине, що можу сказати точно: ми не розглядаємо китайські моделі та підходи», — заявив він та додав, що це буде pre-train на наявній архітектурі, а не розробка з нуля. Розробники будуть фокусуватись на маленьких мовних моделях (1-5 млрд параметрів) та середніх (12-16 млрд параметрів), враховуючи досвід Gemma та останніх версій LLaMA.
Для тренування національної мовної моделі, за словами Дмитра Овчаренка, будуть використані новини, Вікіпедія та інша інформація, зібрана та надана ком’юніті та університетами, які роками збирають відкриті джерела українською мовою. «Також є дата-сет „Малюк“. Він один з найбільших — 113 гігабайтів вичищеного тексту. Крім нього, є NER-UK, UA-GEC, БрУК та інші», — додає він. Всі дані проходитимуть перевірку експертами — істориками, лінгвістами, культурними діячами.
Крім того, Дмитро Овчаренко додав, що українська модель буде у вільному доступі для некомерційного сектору — держави, університетів, шкіл, науковців. Щодо бізнесу, то ще думаємо над умовами.
Наразі команда в пошуку інвесторів для фінансування розробки національної LLM. Конкретну суму необхідних витрат Дмитро Овчаренко не називає, але за його словами, з досвіду інших країн скажу, що бюджет може коливатися від $1,5 до $8 млн.
CTO AI Center of Excellence говорить, що команда планує розробку відповідно до Roadmap. «За ідеальних умов середня модель має вийти через дев’ять місяців. Тобто в кінці листопаді-грудні 2025 року», — заявляє він. Але Дмитро також додав, що планується до виходу не лише одна модель, а й guardrail, ембединги, токенайзер, тобто ціла екосистема певних моделей.
Команда прагне до 2030 року увійти до трійки країн світу за розробкою та впровадженням AI у публічному секторі.
Дмитро Овчаренко впевнений, що AI створить попит на нові спеціальності та змінить традиційні підходи до роботи в різних галузях.
