Робота з сучасними великими мовними моделями вимагає не лише грамотного промптингу, а й розуміння економіки контекстного вікна. Досвідом системної оптимізації витрат на використання інструментів штучного інтелекту поділився AI Architect та Software Engineer Денис Клименко.
Робота з сучасними великими мовними моделями вимагає не лише грамотного промптингу, а й розуміння економіки контекстного вікна. Досвідом системної оптимізації витрат на використання інструментів штучного інтелекту поділився AI Architect та Software Engineer Денис Клименко.
За словами ІТ-фахівців, головна причина високих рахунків за користування модельним рядом Claude полягає у специфіці обробки даних: модель не має власної внутрішньої пам’яті, тому з кожним новим повідомленням користувач відправляє весь попередній діалог заново.
«Найдорожче в роботі з Claude — це не самі відповіді. Це „хвіст“, який ви тягнете за собою. Контекст росте лінійно, а рахунок — квадратично: п’ятдесятий запит тягне за собою сорок дев’ять попередніх. 98% усіх токенів — це перечитування вже сказаного, тобто кеш. Дві третини рахунку йдуть саме туди», — пояснює Денис Клименко у своєму дописі на LinkedIn.
На основі аналізу власної робочої програми (30 сесій, 857 мільйонів токенів із сумарним чеком у $582) інженер наводить наступні спостереження:
модель Opus у довгій сесії коштує $0.121 за запит, а в короткій — $0.078. Різниця становить 36% при однаковій якості роботи;
сесії з обсягом контексту понад 300 000 токенів сформували 58% усього рахунку за перечитування кешу;
найбільше ресурсів спалюють виводи команд у терміналі (36–42%) та зчитані файли проєкту (ще 28%).
«Сесія стартує з 40 000 токенів (глобальні й локальні правила, скіли, пам’ять), а піки доходили до 405 000. Один раз скинув у чат довгий лог — і платиш за нього на кожному наступному запиті до кінця сесії. Кнопки „прибрати це звідси“ не існує, єдиний спосіб позбутися лишнього — закрити сесію», — зазначає AI Architect.
Нове вікно під нову тему: для питань не по основній темі варто відкривати окрему сесію, адже Claude бачить усі паралельні вікна.
Фахівець підсумовує, що ідеальною є робоча сесія, у якій загальний обсяг контексту не перевищує 200 000 токенів.
