Mazda CX5
Як зробити цифрову копію себе. Ось відео —>

Як зекономити 60% на токенах: айтівець придумав перетворювати ШІ-контекст на PNG-файли

ШІ-експерт Роберт Юссеф поділився революційним лайфхаком, який дозволив йому знизити споживання токенів у роботі з моделлю Fable 5 майже на 60%. Завдяки нестандартному підходу до інженерії контексту, Юссеф зміг зменшити вартість однієї робочої сесії з $42 всього до $6, зберігши при цьому ідентичну якість та точність результатів.

Залишити коментар
Як зекономити 60% на токенах: айтівець придумав перетворювати ШІ-контекст на PNG-файли

ШІ-експерт Роберт Юссеф поділився революційним лайфхаком, який дозволив йому знизити споживання токенів у роботі з моделлю Fable 5 майже на 60%. Завдяки нестандартному підходу до інженерії контексту, Юссеф зміг зменшити вартість однієї робочої сесії з $42 всього до $6, зберігши при цьому ідентичну якість та точність результатів.

Вже 7 липня Fable 5 скасовує звичні плани підписки. Після цього користувачам доведеться купувати кредити за фактичне використання, що зробить роботу з моделлю суттєво дорожчою. 

Як працює лайфхак

Метод Роберта Юссефа, яким він поділився в Х, полягає в тому, щоб не надсилати важкий контекст у вигляді тексту, а передавати його як зображення.

Уся суть — у специфіці того, як тарифікуються сучасні мультимодальні моделі штучного інтелекту через API. Зазвичай розробники платять за кожен токен, тобто за кожне окреме слово чи склад у тексті, через що надсилання величезних системних промтів, інструкцій до інструментів та довгої історії листування швидко спалює баланс.

Однак, коли модель приймає картинки, плата стягується не за вміст, а виключно за фізичний розмір зображення в пікселях.

Щоб скористатися цією лазівкою, Юссеф запускає на своєму комп’ютері спеціальну утиліту-проксі під назвою pxpipe. Цей інструмент автоматично перехоплює важкі текстові блоки з контекстом перед тим, як вони відправляться до нейромережі, і рендерить цей масив даних в один компактний PNG-файл.

Модель без проблем зчитує весь текст безпосередньо з картинки завдяки своїм мультимодальним можливостям розпізнавання зору, але для гаманця розробника це коштує в рази дешевше.

При цьому, щоб ШІ не припускався помилок і не вигадував дані, інформацію з вимогою абсолютної точності (API-ключі, останні репліки чи ідентифікатори) продовжують надсилати текстом. Картинка ж бере на себе роль недорогого сховища для масивів базових і незмінних даних

Результат

Завдяки перетворенню масивів тексту на зображення, Роберту Юссефу вдалося отримати майже у 2.5 рази більше робочого часу за ті самі гроші.

Докладніше ознайомитися з pxpipe можна на GitHub.

Кінець «безліміту» в Copilot змусив українських розробників підрахувати реальну вигоду ШІ-агентів: результати дивують
Кінець «безліміту» в Copilot змусив українських розробників підрахувати реальну вигоду ШІ-агентів: результати дивують
По темi
Кінець «безліміту» в Copilot змусив українських розробників підрахувати реальну вигоду ШІ-агентів: результати дивують
Microsoft оновлює VS Code: додано відстеження витрат на чат та мультиагентні чати
Microsoft оновлює VS Code: додано відстеження витрат на чат та мультиагентні чати
По темi
Microsoft оновлює VS Code: додано відстеження витрат на чат та мультиагентні чати
Експерти прогнозують що до 2028 року витрати на ШІ-кодування перевищать зарплати розробників
Експерти прогнозують, що до 2028 року витрати на ШІ-кодування перевищать зарплати розробників
По темi
Експерти прогнозують, що до 2028 року витрати на ШІ-кодування перевищать зарплати розробників
Читайте головні IT-новини країни в нашому Telegram
Читайте головні IT-новини країни в нашому Telegram
По темi
Читайте головні IT-новини країни в нашому Telegram
Читайте також
Штучний інтелект DALL-E навчився домальовувати картини. Як це виглядає
Штучний інтелект DALL-E навчився домальовувати картини. Як це виглядає
Штучний інтелект DALL-E навчився домальовувати картини. Як це виглядає
2 коментарі
Штучний інтелект почав озвучувати фільми на MEGOGO
Штучний інтелект почав озвучувати фільми на MEGOGO
Штучний інтелект почав озвучувати фільми на MEGOGO
6 коментарів
Штучний інтелект навчився реставрувати старі фотографії, перетворюючи їх на якісні зображення: відео
Штучний інтелект навчився реставрувати старі фотографії, перетворюючи їх на якісні зображення: відео
Штучний інтелект навчився реставрувати старі фотографії, перетворюючи їх на якісні зображення: відео
2 коментарі
«Чи є у мене талант, якщо комп’ютер може імітувати мене?». Штучний інтелект пише книги авторам Amazon Kindle. The Verge поспілкувався з авторами та виявив багато цікавого
«Чи є у мене талант, якщо комп’ютер може імітувати мене?». Штучний інтелект пише книги авторам Amazon Kindle. The Verge поспілкувався з авторами та виявив багато цікавого
«Чи є у мене талант, якщо комп’ютер може імітувати мене?». Штучний інтелект пише книги авторам Amazon Kindle. The Verge поспілкувався з авторами та виявив багато цікавого
Письменники-романісти використовують штучний інтелект для створення своїх творів. Видання про технології The Verge поспілкувалося з письменницею Дженніфер Лепп, яка випускає нову книгу кожні дев’ять тижнів, й дізналося про те, як працює штучний інтелект для написання романів. Наводимо адаптований переклад статті. 

Хочете повідомити важливу новину? Пишіть у Telegram-бот

Головні події та корисні посилання в нашому Telegram-каналі

Обговорення
Коментарів поки немає.