Лабораторія Letta презентувала новий бенчмарк FrontierMemory для перевірки, чи здатні автономні ШІ-агенти насправді вчитися на власному досвіді, а не просто витягувати збережені факти з бази даних. Перші тести виявили колосальний розрив у продуктивності залежно від інфраструктури, яка керує роботою агента.
Лабораторія Letta презентувала новий бенчмарк FrontierMemory для перевірки, чи здатні автономні ШІ-агенти насправді вчитися на власному досвіді, а не просто витягувати збережені факти з бази даних. Перші тести виявили колосальний розрив у продуктивності залежно від інфраструктури, яка керує роботою агента.
Більшість сучасних тестів вимірюють лише здатність ШІ згадувати факти. Проте, як зазначає співзасновник Letta Чарльз Пакер, у часи кодинг-агентів просте зчитування тексту — це вже розв’язана задача. Справжня проблема полягає в безперервному навчанні в контекстному просторі, пише The New Stack.
«Якщо згенерована ШІ пам’ять дійсно якісна, вона має реально покращувати виконання подальших завдань», — наголошує Чарльз Пакер.
Бенчмарк FrontierMemory оцінює саме цей розрив. Агентам дають стенограми їхньої попередньої роботи (включно із вдалими спробами та помилками), після чого вони мають сформувати власні «спогади» для ефективнішого виконання нових завдань.
У тесті на здатність вчитися на минулих помилках і застосовувати цей досвід лідером стала власна система Letta:
При використанні однакових моделей (GPT-6.1 Sol для створення пам’яті та GPT-6 Sol для виконання задач) система Letta Dream перевершила OpenAI Agents SDK із рахунком 60% проти 40%. Це доводить, що архітектура обв’язки агента має таке ж значення, як і сама мовна модель.
Ключовим фактором успіху виявився процес «фази сну» (dreaming) — коли агент переглядає минулу роботу та перетворює засвоєний досвід на чіткі інструкції або нові навички.
Дослідники також порівняли 7 провідних моделей за якістю генерації корисних спогадів:
Хоча Claude Opus 5.5 та GLM-5.3 формують значно якісніші інструкції, OpenAI має суттєву перевагу в ціні: генерація пам’яті на GPT-6.1 Sol коштує близько $0,77 за завдання, проти $2,80 у Opus 5.5 та $3,58 у GLM-5.3.
Цікаво, що якісні спогади, створені дорожчою моделью (Opus 5.5), потім чудово допомагають дешевшій моделі (GPT-6 Sol) виконувати завдання. Це відкриває шлях до гібридних підходів у розробці.
Наразі FrontierMemory 1.0 включає лише 15 складних завдань з кодингу та аналітики. Через невелику вибірку кожна помилка оцінюється приблизно в 6,7 відсоткових пункту. Автори тесту обіцяють розширити FrontierMemory у наступних версіях, додавши триваліші завдання та підтримку мультиплеєрного середовища для командної роботи кількох ШІ-агентів.
