Master of Code Global розробили фреймворк для інтеграції великих мовних моделей у чатботи
IT-компанія Master of Code Global презентувала Large Language Model Orchestrator Framework Tool (LOFT).
IT-компанія Master of Code Global презентувала Large Language Model Orchestrator Framework Tool (LOFT).
Це інструмент для інтеграції великих мовних моделей (таких як ChatGPT) у розмовні рішення з використанням штучного інтелекту. Він відкриває нові можливості для комерційного використання генеративного штучного інтелекту в різних галузях.
Раніше IT-компанія EPAM презентувала фреймворк з аналогічними цілями під назвою DIAL. На думку розробників Master of Code Global, фреймворк DIAL є значно масштабнішим, оскільки складається з багатьох репозиторіїв на різних мовах програмування. DIAL більше підходить для корпоративного рівня — бізнес-рішень із використанням штучного інтелекту, які вимагають широкого спектра інтеграцій.
Основні функції LOFT:
- Агностичний фреймворк: безперешкодно інтегрується в будь-яку бекенд-систему, незалежно від будь-якого HTTP-фреймворка
- Архітектура на основі черг: оптимізована для сценаріїв з високою пропускною здатністю.
- Динамічні промпти: можна змінювати промпти перед відправленням до API LLM.
- Підтримка проміжного програмного забезпечення: налаштування введення/виведення даних чату (наприклад, можна змінювати введені користувачем дані перед відправленням в API LLM).
- Виявлення та обробка подій: розширені можливості для виявлення та обробки подій у чаті.
- Обмеження частоти та горизонтальне масштабування: вбудовані можливості обмеження частоти запитів, які вдало працюють у горизонтально масштабованих середовищах.
«LOFT — це наша відповідь на зростальний попит щодо інтеграції штучного інтелекту в розмовні рішення. Першу версію LOFT ми продемонстрували на одній із найбільших конференцій розробників у Європі, яка цього року вперше відбулася в США — Shift Conference. Відтоді фреймворк вдосконалюється. І ми вже маємо декілька кейсів його практичного використання з боку клієнтів», — сказав CEO Master of Code Global Дмитро Гриценко.
Читайте головні IT-новини країни в нашому Telegram
Читайте головні IT-новини країни в нашому Telegram
EPAM запускає DIAL — уніфіковану генеративну платформу оркестрування ШІ
EPAM запускає DIAL — уніфіковану генеративну платформу оркестрування ШІ
Українська IT-компанія Master of Code Global починає найм у Польщі на проєкти розмовних рішень із використанням штучного інтелекту. Кого шукають
Українська IT-компанія Master of Code Global починає найм у Польщі на проєкти розмовних рішень із використанням штучного інтелекту. Кого шукають
IT-компанія Master of Code Global із Черкас передала кіберполіції 1200 доменів шахраїв
IT-компанія Master of Code Global із Черкас передала кіберполіції 1200 доменів шахраїв
«Ти вже не творець, а ти просто оператор ефективності AI». Велике інтерв’ю із засновником Master of Code Дмитром Гриценком про долю ІТ
«Ти вже не творець, а ти просто оператор ефективності AI». Велике інтерв’ю із засновником Master of Code Дмитром Гриценком про долю ІТ
