Команда Google DeepMind представила нову функцію, яка надає стандартному курсору миші функції ШІ-асистента на базі моделей Gemini. Технологія дає змогу системі розпізнавати семантичний контекст об'єктів на екрані та виконувати операції без введення текстових запитів.
Команда Google DeepMind представила нову функцію, яка надає стандартному курсору миші функції ШІ-асистента на базі моделей Gemini. Технологія дає змогу системі розпізнавати семантичний контекст об'єктів на екрані та виконувати операції без введення текстових запитів.
Про розробку повідомили в офіційному блозі Google DeepMind. Основна мета інструменту — забезпечити взаємодію з нейромережею безпосередньо в робочому середовищі користувача, уникаючи перемикання між вікнами застосунків.
«Ми прагнемо створити інтуїтивний штучний інтелект, який взаємодіє з користувачами у всіх інструментах, якими вони користуються, не перериваючи їхнього робочого процесу», — пояснюють розробники.
Система базується на здатності Gemini фіксувати візуальний та семантичний контекст навколо вказівника. Це дає змогу виконувати дії за допомогою коротких команд або жестів:
Створення резюме PDF-файлів безпосередньо в поштовому клієнті.
Конвертація числових таблиць у діаграми наведенням курсора.
Редагування блоків коду та зображень через голосові команди на кшталт «виправ це».
Автоматичне розпізнавання об'єктів (локацій на картах, товарів у магазинах) та їхнє перетворення на інтерактивні елементи.
Функціонал вже починають впроваджувати у браузері Chrome. Також розробники анонсували Magic Pointer — апаратну або програмну функцію для нової лінійки ноутбуків Googlebook, що активує Gemini в один дотик. Експериментальні можливості курсора доступні в Google AI Studio та на дослідницькій платформі Disco від Google Labs.
Нагадаємо, що 12 травня на The Android Show Google анонсувала Googlebook — нову категорію ноутбуків, побудованих з нуля навколо Gemini Intelligence. Це не черговий Chromebook із ШІ-фічами зверху — Google каже, що це перший ноутбук, спроєктований із нуля саме під Gemini, щоб надавати персональну і проактивну допомогу.
