Українська MacPaw зробила ще один крок у бік «самостійного» штучного інтелекту — команда представила платформу GUIrilla, яка дозволяє AI взаємодіяти з інтерфейсами macOS так, ніби це робить людина. Розробку презентували на воркшопі DATA-FM у межах ICLR 2026 — однієї з ключових світових конференцій у сфері машинного навчання.
Українська MacPaw зробила ще один крок у бік «самостійного» штучного інтелекту — команда представила платформу GUIrilla, яка дозволяє AI взаємодіяти з інтерфейсами macOS так, ніби це робить людина. Розробку презентували на воркшопі DATA-FM у межах ICLR 2026 — однієї з ключових світових конференцій у сфері машинного навчання.
GUIrilla фактично навчає моделі «розуміти» інтерфейси: знаходити кнопки, заповнювати форми, переміщатися між елементами і виконувати дії без участі користувача. Такий підхід може стати основою для нового покоління desktop-агентів.
Як розповіла DOU Research Manager у MacPaw Марія Гірна, ключова проблема — відсутність якісних відкритих даних для навчання. Більшість існуючих датасетів, за її словами, майже не охоплюють macOS. Гірна зазначає, що у найбільшому відкритому наборі даних для desktop AI — OS-ATLAS — частка macOS становить лише 0,06%.
«Великі компанії, можливо, мають власні закриті дані, зібрані вручну, але для академічної спільноти та незалежних дослідників ці ресурси недоступні. Збирати все вручну дорого і практично нереально масштабувати», — пояснює дослідниця.
Саме цю проблему і взялася вирішити команда. GUIrilla автоматизує процес: самостійно встановлює застосунки, взаємодіє з ними, робить скріншоти та збирає структурні дані інтерфейсу.
Йдеться не лише про «картинку» екрана. За словами Гірної, система формує текстовий опис інтерфейсу — які елементи присутні, що вони роблять і як пов’язані між собою. Це фактично ті самі дані, які використовуються в accessibility-функціях Apple, але тепер вони застосовуються для навчання AI.
У результаті команда MacPaw Research зібрала датасет GUIrilla-Task — це понад 27 тисяч сценаріїв взаємодії з інтерфейсами у більш ніж 1100 macOS-застосунках.
Паралельно компанія відкрила бібліотеку macapptree, яка дозволяє розробникам отримувати структурну інформацію про будь-який Mac-застосунок буквально кількома рядками коду.
«Такої кількості macOS-інтерфейсів у відкритому доступі раніше не публікували», — додає Гірна.
У MacPaw не приховують, що GUIrilla — це частина ширшої стратегії. Як зазначає Director of AI and Research Сергій Кривоблоцький, розвиток власних досліджень і створення складного технологічного IP — ключ до конкуренції на глобальному AI-ринку.
Фактично компанія інвестує у фундамент — дані та інструменти, без яких неможливо створювати повноцінних AI-агентів для роботи з десктопом.
