Google анонсує нову модель Gemini, здатну орієнтуватися в мережі та взаємодіяти з нею за допомогою браузера. Це означає, що ШІ-агенти зможуть працювати в інтерфейсах, призначених для людей. Модель Gemini 2.5 Computer Use використовує «візуальне розуміння та міркування» для аналізу та виконання завдань, наприклад, заповнення та надсилання форм.
Google анонсує нову модель Gemini, здатну орієнтуватися в мережі та взаємодіяти з нею за допомогою браузера. Це означає, що ШІ-агенти зможуть працювати в інтерфейсах, призначених для людей. Модель Gemini 2.5 Computer Use використовує «візуальне розуміння та міркування» для аналізу та виконання завдань, наприклад, заповнення та надсилання форм.
Модель підходить для тестування користувацького інтерфейсу або для роботи з інтерфейсами, де немає прямого зв’язку через API. Попередні версії моделі вже використовувалися для реалізації агентських функцій в AI Mode та в Project Mariner — експериментальній розробці, де ШІ-агенти можуть самостійно виконувати браузерні завдання (наприклад, додавати продукти в кошик, орієнтуючись на список інгредієнтів), пише The Verge.
Google опублікував кілька демонстраційних відео, які показують інструмент Computer Use у дії, і зазначає, що вони прискорені у 3 рази.
На відміну від ChatGPT Agent та інструменту для роботи з комп’ютером від Anthropic, нова ШІ-модель Google має доступ лише до браузера, а не до всього комп’ютерного середовища.
Google зазначає, що модель «ще не оптимізована для контролю на рівні операційної системи (ОС) робочого столу» і наразі підтримує 13 дій, включно з відкриттям веббраузера, введенням тексту, а також перетягуванням елементів.
Gemini 2.5 Computer Use доступна розробникам через Google AI Studio та Vertex AI. Крім того, на Browserbase є демонстраційна версія, де можна подивитися, як ШІ виконує завдання на кшталт «Зіграти в гру 2048» або «Переглянути актуальні дискусії на Hacker News».
