Компанія OpenAI зробила модель Decisions API загальнодоступною для всіх користувачів. Цим кроком розробник виходить на ринок швидкого та дешевого штучного інтелекту, де нещодавно заснований колишнім дослідником OpenAI стартап TypeSafe досяг оцінки у $7,6 млрд завдяки своїй моделі Jev.
Компанія OpenAI зробила модель Decisions API загальнодоступною для всіх користувачів. Цим кроком розробник виходить на ринок швидкого та дешевого штучного інтелекту, де нещодавно заснований колишнім дослідником OpenAI стартап TypeSafe досяг оцінки у $7,6 млрд завдяки своїй моделі Jev.
Нікундж Ханда, керівник напряму API в OpenAI, розповів виданню TechCrunch, що після успіху Jev його команда поспіхом розробила власну альтернативу. Замість створення спеціально відкаліброваної моделі з нуля, інженери переконфігурували ChatGPT Luna, аби прискорити виведення даних і знизити вартість використання.
«Головне досягнення Decisions API — це швидкість: час відгуку скоротився з 1–3 секунд до 100–180 мілісекунд, — зазначив Ханда. — У майбутньому ми можемо провести спеціальне навчання моделей для таких завдань, але наразі з цим чудово справляється звичайна Luna».
Анонсований на розробницькій конференції компанії 29 вересня, Decisions API стала доступною для широкого загалу 22 жовтня. До публічної версії OpenAI додала голосову та візуальну модальності, а також оптимізувала розподіл обчислювальних ресурсів для зменшення затримок по всьому світу.
Під час попередніх випробувань у компаніях Box, Datadog, Ramp та Speak інженери використовували новий API для заміни стандартних великих мовних моделей задля підвищення пропускної здатності. За словами технічного директора Speak Ендрю Хсу, використання Decisions API дозволило скоротити час між діями в їхньому додатку з 1,4 до 0,13 секунди. Також OpenAI застосувала нове рішення для прискорення свого голосового асистента Dots.
Наразі чітких стандартів для моделей рішень немає, адже оптимізація точності, вартості та швидкості залежить від конкретних завдань. Співзасновник TypeSafe Діого Алмейда закликає тестувати моделі безпосередньо на власних робочих навантаженнях, хоча його компанія нещодавно випустила власні рейтинги разом із новою версією Jev, яка отримала підтримку зображень та умовних операторів.
Згідно з публічними тестами (AIM System One Index та Artificial Analysis Decision Index), лідерство утримують модель D1 Ultra від Liquid та Elephant-1 від Base Lab. Модель Jev посідає в цих списках 7-ме та 3-тє місця відповідно, тоді як рішення від OpenAI розташувалося на 8-му та 14-му місцях. Попри це, моделі TypeSafe наразі залишаються найпопулярнішими за кількістю запитів на платформі OpenRouter.
Окрему увагу привертає розважальний бенчмарк JevMan від Opper AI, де моделі змагаються у грі PacMan. У ньому розробка TypeSafe утримує першість. За словами представника Opper AI Фелікса Вундерліха, класична гра є чудовим тестом для швидкого прийняття рішень, оскільки модель має обирати напрямок руху за лічені сотні мілісекунд.
Головною перевагою рішення від OpenAI може стати мультимодальність. Для класифікації зображень модель Luna показує високу точність, а користувачі вже висловлюють зацікавленість у використанні Decisions API для генерації та обробки візуального контенту.
