Олександр Кузьменко Навколо IT 24 листопада 2023, 11:10

Master of Code Global розробили фреймворк для інтеграції великих мовних моделей у чатботи

IT-компанія Master of Code Global презентувала Large Language Model Orchestrator Framework Tool (LOFT).

Це інструмент для інтеграції великих мовних моделей (таких як ChatGPT) у розмовні рішення з використанням штучного інтелекту. Він відкриває нові можливості для комерційного використання генеративного штучного інтелекту в різних галузях.

Раніше IT-компанія EPAM презентувала фреймворк з аналогічними цілями під назвою DIAL. На думку розробників Master of Code Global, фреймворк DIAL є значно масштабнішим, оскільки складається з багатьох репозиторіїв на різних мовах програмування. DIAL більше підходить для корпоративного рівня — бізнес-рішень із використанням штучного інтелекту, які вимагають широкого спектра інтеграцій.

Основні функції LOFT:

Агностичний фреймворк: безперешкодно інтегрується в будь-яку бекенд-систему, незалежно від будь-якого HTTP-фреймворка
Архітектура на основі черг: оптимізована для сценаріїв з високою пропускною здатністю.
Динамічні промпти: можна змінювати промпти перед відправленням до API LLM.
Підтримка проміжного програмного забезпечення: налаштування введення/виведення даних чату (наприклад, можна змінювати введені користувачем дані перед відправленням в API LLM).
Виявлення та обробка подій: розширені можливості для виявлення та обробки подій у чаті.
Обмеження частоти та горизонтальне масштабування: вбудовані можливості обмеження частоти запитів, які вдало працюють у горизонтально масштабованих середовищах.

«LOFT — це наша відповідь на зростальний попит щодо інтеграції штучного інтелекту в розмовні рішення. Першу версію LOFT ми продемонстрували на одній із найбільших конференцій розробників у Європі, яка цього року вперше відбулася в США — Shift Conference. Відтоді фреймворк вдосконалюється. І ми вже маємо декілька кейсів його практичного використання з боку клієнтів», — сказав CEO Master of Code Global Дмитро Гриценко.