Учора Мінцифри оголосило про старт проєкту AI Factory. Це ІТ-середовище, а базі якого будуть працювати перші державні ШІ сервіси: AI-асистент у «Дії» та згодом — AI-тьютор у «Мрії». А в перспективі — сервіси для оборонки, науки та медицини.
Учора Мінцифри оголосило про старт проєкту AI Factory. Це ІТ-середовище, а базі якого будуть працювати перші державні ШІ сервіси: AI-асистент у «Дії» та згодом — AI-тьютор у «Мрії». А в перспективі — сервіси для оборонки, науки та медицини.
Для того щоб створити таке середовище для AI-чатботів, які будуть обробляти запити користувачів в реальному часі, доведеться закупити залізо та софт. Як з’ясувала редакція dev.ua, на Prozorro вже з’явилося відповідне оголошення. Закупку проводитиме ДП «Дія».
Мова про два комплекти «Комплекс програмно-апаратних засобів «Суверенна фабрика штучного інтелекту». Бюджет закупівлі (очікувана вартість): 227,5 млн гривень. А поставка повинна відбутися до першого червня 2026. Підрядник повинен мати дохід від 100 млн грн за останній рік.
Як стверджують учасники ринку збереження та обробки даних, з якими поспілкувалася редакція, наразі замовляти ШІ-комплекси треба завчасно. Через великий попит існує дуже маленька вірогідність, що поставки відбудуться до кінця року. Тому, вочевидь, дата поставки так віддалена від старту закупівлі.
Тож інфраструктура під ШІ в «Дії», ймовірно, з’явиться не так скоро, як хотілося б.
ТЗ щодо того, яким повинен бути комплекс, характеристики його заліза та софта, прописані в документах закупівлі дуже детально. Наприклад, обчислювальні вузли з GPU (на двох комплексах разом їх буде чотири) повинні бути оснащені щонайменше двома процесорами нового покоління на архітектурі x86_64 з підтримкою PCIe Gen 5. Кожен із них має мінімум 96 фізичних ядер з базовою частотою не менше 2,6 ГГц.
Оперативна пам’ять: обчислювальний вузол повинен містити щонайменше 24 модулі з обсягом не менше 96 ГБ кожен. Повинна бути наявна можливість масштабування до не менше ніж 6 ТБ системної пам’яті.
Рішення повинно забезпечувати роботу пам’яті на швидкості не менше 6400 MT/s.
Відмітимо, що в Мінцифри розповіли DOU, що AI Factory тільки на початковому етапі включатиме чотири GPU-вузли. Згодом їхня кількість може зрости до 31.
Після установки комплексів в датацентрі, підрядник повинен провести практичні тести. Це донавчання великої мовної моделі Gemma-3-12B. Для цієї мети замовник надає текстовий датасет обсягом до 10 ГБ.
Критерієм успішності є вимірюваний час повного циклу донавчання (Time-to-Train). Система повинна продемонструвати здатність обробляти навантаження, еквівалентне 310 000 запитів на добу. У 95% час відповіді (latency) не повинні перевищувати 500 мілісекунд.
Нагадаємо, ми писали детальну статтю про те, що Мінцифри та найбільший телеком-оператор країни домовилися про створення національної LLM (великої мовною моделі). І «Київстар» готовий вкласти $1,5–2 млн початкових інвестицій.
Як пояснив dev.ua Михайло Нестор, директор із розробки диджитал-продуктів «Київстар», у випадку з ІТ-середовищем, яке хоче самостійно побудувати AI Factory, мова йде про закупку інфраструктури для навантаження, яке буде йти, наприклад, від чат-ботів, а не від навчання моделей (як в рамках проєкту національної LLM). Бо за інфраструктуру для навчання національної LLM відповідає саме «Київстар».
Яку інфраструктуру закуповуватиме під тренування LLM «Київстар»: компанія розглядає кластер із 64 GPU від Nvidia — H100/H200 в подах, що включають швидкісну комутацію типу NVLink і тд. Один з учасників хмарного ринку заявив dev.ua, що подібне обладнання він закуповував торік. Вартість одного GPU такого рівня була десь $30 000. Так, мова може йти про приблизно $2 млн. Це схоже з цими цифрами, який анонсував оператор на старті проєкту.
«У нас це може бути як локальне залізо, так і хмарний кластер в одного з гіперскейлерів (AWS, Azure, GCP)», — підкреслив Михайло Нестор.
Фінальний результат — натренована мовна модель від «Київстар» — вже далі може хоститися в межах AI Factory для потреб чатботів «Дії», «Мрії» тощо. Але кожен запит також буде вимагати обробки на GPU (навіть при наявності нетренованої моделі під рукою). Тому, як вважає Нестор, локальні сервери (які зараз закуповує «Дія») — це перевага через меншу затримку сигналу та вартість.
«Так само міністерство може робити власні експерименти з тренінгом моделей для власних потреб», — додає Нестор.
