В Україні почала роботу вітчизняна платформа LLM API, створена для бізнесу та стартапів, які використовують моделі штучного інтелекту у своїх продуктах або внутрішніх процесах. Сервіс пропонує єдину точку доступу до понад 400 моделей від різних провайдерів та дає інструменти контролю над ними.
В Україні почала роботу вітчизняна платформа LLM API, створена для бізнесу та стартапів, які використовують моделі штучного інтелекту у своїх продуктах або внутрішніх процесах. Сервіс пропонує єдину точку доступу до понад 400 моделей від різних провайдерів та дає інструменти контролю над ними.
Як повідомили розробники сервісу в пресрелізі, платформа орієнтована на стартапи, а також на середні та великі компанії з високим ШІ-навантаженням, які прагнуть оптимізувати свої процеси та витрати.
Головна мета проєкту — спростити для бізнесу адміністрування інфраструктури штучного інтелекту. Замість налаштування десятків окремих інтеграцій розробники можуть підключатися до різних ШІ-провайдерів через єдиний інтерфейс. Це дозволяє компаніям швидко тестувати нові моделі без суттєвих змін у власному коді, а також централізовано контролювати витрати, ліміти та API-ключі.
Однією з ключових технологічних фіч платформи є модуль EvalLab, призначений для бенчмаркінгу моделей на власних сценаріях компанії. Користувачі можуть запускати однакові промпти через різні моделі й порівнювати отримані відповіді за трьома основними параметрами: швидкістю, вартістю та якістю (quality score). Це дозволяє наочно протестувати роботу GPT, Claude, Gemini чи відкритих (open-source) моделей на реальних завданнях в одному інтерфейсі.
Окрім цього, модуль підтримує методологію LLM-as-judge. У цьому сценарії одна з моделей виступає в ролі «судді» та оцінює якість відповідей інших моделей за шкалою від 0 до 100 на основі заданих критеріїв.
Представники LLM API наголошують, що сервіс не додає власну націнку поверх вартості запитів від оригінальних ШІ-провайдерів. У деяких випадках команда допомагає клієнтам отримувати спеціальні, більш вигідні тарифи. Реєстрація на платформі вже відкрита для всіх охочих.
Нагадаємо, що в травні в Україні розпочав роботу сервіс Lapathoniia — інфраструктурне рішення для хостингу та інтеграції українських великих мовних моделей. За словами розробників, ідея створення сервісу виникла через відсутність на ринку зручного інструменту для хостингу локальних нейромереж.
