Бразильський IT-фахівець із квадриплегією створив відкритий інструмент claude-code-eyes, який дає змогу автономному ШІ-агенту бачити фізичне обладнання через камеру та виправляти баги інтерфейсу без участі людини.
Бразильський IT-фахівець із квадриплегією створив відкритий інструмент claude-code-eyes, який дає змогу автономному ШІ-агенту бачити фізичне обладнання через камеру та виправляти баги інтерфейсу без участі людини.
Під час роботи над проєктом на базі мікроконтролера ESP32 розробник прагнув перевірити, чи здатен Claude Code самостійно пройти весь цикл розробки — від написання прошивки та налаштування реле до тестів і оновлень по повітрю (OTA). ШІ впорався із завданням, але виникла проблема: текст на невеликому підключеному дисплеї відображався некоректно, розповів айтівець на Reddit.
Для розробника з обмеженою рухливістю процес передачі візуальної інформації був надто виснажливим: доводилося робити скріншот або фото, відправляти його собі через WhatsApp, завантажувати й лише потім завантажувати в чат із Claude. Зрозумівши, що цей ручний процес гальмує роботу, айтівець вирішив автоматизувати «зір» для ШІ та перетворити його на повноцінну навичку інструмента.
Створена навичка claude-code-eyes дозволяє Claude Code отримувати зображення безпосередньо з будь-якої камери, направленої на плату чи дисплей (це може бути старий Android-смартфон із застосунком IP Webcam, Raspberry Pi Camera або будь-яке інше джерело з snapshot URL). Отримавши кадр, ШІ аналізує його як звичайний файл, виявляє дефекти, редагує код, повторно прошиває мікроконтролер і знову перевіряє результат.
Завдяки цьому Claude виявляє помилки, які не здатний помітити жодний юніт-тест: викривлені шрифти, обрізаний на краю екрана текст чи помилково підключені дроти.
Окрему увагу розробник приділив самодіагностиці системи:
Захист від галюцинацій: якщо зображення розмите або зняте занадто здалеку, ШІ відмовляється робити припущення та попросить скоригувати камеру.
Перевірка зв’язку: порожній кадр сприймається не як «відсутність помилок», а як привід перевірити справність самої камери.
Технічно рішення реалізовано максимально лаконічно — близько 100 рядків коду на Bash та файл конфігурації SKILL.md. Інструмент поширюється під відкритою ліцензією MIT, встановлюється однією командою та навіть уміє самостійно сканувати локальну мережу в пошуках IP-камери.
Код проєкту та коротка демонстрація доступні у відкритому репозиторії на GitHub.
As AI-powered development continues to evolve with innovations like camera-assisted hardware recognition, ensuring that Android applications meet platform requirements is equally important for a successful release. Focusing on Google Play Compliance helps developers prepare their apps for policy standards, testing requirements, and a smoother publishing process, allowing innovative AI-driven applications to reach users with confidence. https://12playtesters.com/