Олександр Кузьменко Около IT 24 ноября 2023, 11:10

Master of Code Global разработали фреймворк для интеграции больших языковых моделей в чат-боты

IT-компания Master of Code Global представила Large Language Model Orchestrator Framework Tool (LOFT).

Это инструмент для интеграции больших языковых моделей (таких, как ChatGPT) в разговорные решения с использованием искусственного интеллекта. Он открывает новые возможности для коммерческого использования генеративного искусственного интеллекта в различных отраслях.

Ранее IT-компания EPAM представила фреймворк с аналогичными целями под названием DIAL. По мнению разработчиков Master of Code Global, фреймворк DIAL значительно масштабнее, поскольку состоит из многих репозиториев на разных языках программирования. DIAL больше подходит для корпоративного уровня — бизнес-решений с использованием искусственного интеллекта, требующих широкого спектра интеграций.

Основные функции LOFT:

Агностический фреймворк: беспрепятственно интегрируется в любую бэкенд-систему, независимо от любого HTTP-фреймворка.
Архитектура на основе очередей оптимизирована для сценариев с высокой пропускной способностью.
Динамические промпты: можно изменять промпты перед отправкой в API LLM.
Поддержка промежуточного программного обеспечения: настройка ввода/вывода чата (например, можно изменять введенные пользователем данные перед отправкой в API LLM).
Обнаружение и обработка событий: расширенные возможности обнаружения и обработки событий в чате.
Ограничение частоты и горизонтальное масштабирование: встроенные возможности ограничения частоты запросов, успешно работающих в горизонтально масштабируемых средах.

«LOFT — это наш ответ на растущий спрос по интеграции искусственного интеллекта в разговорные решения. Первую версию LOFT мы продемонстрировали на одной из крупнейших конференций разработчиков в Европе, впервые в этом году состоявшейся в США — Shift Conference. С этого времени фреймворк совершенствуется. И у нас уже есть несколько кейсов его практического использования со стороны клиентов», — сказал CEO Master of Code Global Дмитрий Гриценко.