Виявляється, що інструкції для кодувальних ШІ-агентів можуть бути такими ж смердючими, як і ризиковані чи погано структуровані шаблони коду, відомі як «код із душком/запахи коду».
Виявляється, що інструкції для кодувальних ШІ-агентів можуть бути такими ж смердючими, як і ризиковані чи погано структуровані шаблони коду, відомі як «код із душком/запахи коду».
Кодувальні ШІ-агенти покладаються на конфігураційні файли, які описують очікувану поведінку агента. Ці файли для розширення контексту зазвичай пишуться у форматі Markdown і називаються CLAUDE.md (для тих, хто використовує моделі від Anthropic) або AGENTS.md (практично для всіх інших моделей).
Вони містять різноманітні текстові інструкції, які вказують кодувальному агенту на бажану поведінку та правила використання інструментів. І ці інструкції можуть ставати досить розлогими. Anthropic рекомендує не перевищувати ліміт у 200 рядків тексту, оскільки довші файли перевантажують контекст моделі та можуть погіршити чіткість і послідовність її відповідей.
Дослідники з факультету комп’ютерних наук Федерального інституту Мінас-Жерайс у Бразилії нещодавно проаналізували близько 532 000 файлів. Метою було створення та вивчення датасету зі 100 популярних open-source проєктів, що містять файли CLAUDE.md або AGENTS.md, повідомляє The Register.
«Наші результати показують, що запахи конфігурації широко поширені, — стверджують дослідники. — Найпопулярнішим виявився витік лінтера, який зачепив 62% файлів. За ним ідуть роздування контексту з 42% та витік навичок із 35%».
Лінтинг — це процес запуску автоматизованих інструментів для перевірки коду на наявність програмних і стилістичних помилок. «Витік лінтера» виникає тоді, коли в інструкціях для ШІ-агента дублюються правила, які вже й так автоматично контролюються лінтерами, засобами перевірки форматування та інструментами статичного аналізу. Повторювані правила марно витрачають токени, адже перевантажують базову модель вказівками щодо завдань, які вже й без того надійно виконує програмний софт.
«Роздування контексту», як і випливає з назви, описує тенденцію розробників надмірно деталізувати поведінку ШІ-агента. «Роздуті конфігураційні файли збільшують споживання токенів, підвищують витрати та відвертають увагу моделі від справді важливих інструкцій», — зазначають автори дослідження, посилаючись на рекомендацію Anthropic писати не більше як 200 рядків тексту.
«Витік навичок» — ще один поширений конфігураційний «запах». Він виникає тоді, коли до файлу AGENTS.md, який завантажується під час кожної сесії агента, додають інструменти або практики, що використовуються вкрай рідко. Такі інструкції краще виносити в окремий файл навичок (наприклад, SKILLs.md), який підвантажуватиметься лише за потреби. Витік навичок також безпотребно розширює контекст агента та потенційно відвертає його увагу від інших завдань.
Серед інших «запашків» ШІ-агентів виділяють: «сліпі посилання», що трапляється, коли конфігураційні файли посилаються на зовнішні документи (наприклад, через URL-адреси) без пояснення, коли саме цей ресурс стає потрібним; «скам’яніння ініціалізації» (Init Fossilization) — деталі конфігурації, налаштовані ще під час запуску проєкту, які вже втратили свою актуальність; а також «суперечливі інструкції», які виникають тоді, коли директиви агента суперечать одна одній.
Автори дослідження зазначають, що виявили щонайменше один із цих шести «запахів» у 91 зі 100 протестованих файлів AGENTS.md.
«Ці результати свідчать про те, що розробникам стали б у пригоді каталоги та інструменти, створені для виявлення проблем у конфігураційних файлах ШІ-агентів», — підсумовують дослідники.
Головна думка тут така: у випадку з файлами конфігурації для кодувальних агентів діє принцип «менше — це краще». Можливо, навіть настільки, що будь-яка конфігурація гірша за повну її відсутність.
