Стартап Twelve Labs створює моделі штучного інтелекту, які зможуть розуміти відеоконтент так само як текстовий. Завдяки цьому, користувачі зможуть шукати у відео певні моменти, робити підсумки з відео або ставити запитання на кшталт «Коли людина в червоній сорочці увійшла до ресторану?».
Стартап Twelve Labs створює моделі штучного інтелекту, які зможуть розуміти відеоконтент так само як текстовий. Завдяки цьому, користувачі зможуть шукати у відео певні моменти, робити підсумки з відео або ставити запитання на кшталт «Коли людина в червоній сорочці увійшла до ресторану?».
Співзасновник Twelve Labs Джей Лі вважає, що такі можливості дозволять створити «нові потужні додатки», пише TechCrunch. Стартапу вже вдалося заручитися підтримкою таких спонсорів, як Nvidia, Samsung та Intel.
Моделі штучного інтелекту, які розуміють відео так само добре, як і текст, можуть відкрити нові потужні додатки. Принаймні, так вважає Джей Лі, співзасновник Twelve Labs.
«Відео — це найбільш швидкорослий і найбільш інтенсивний носій даних, проте більшість організацій не збираються виділяти людські ресурси для перегляду всіх своїх відеоархівів. Навіть якщо ви спробуєте поставити теги вручну, це не розв’яже проблему. Пошук певного моменту або ракурсу у відео може бути схожим на пошук голки в копиці сіна», — сказав Лі в інтерв’ю TechCrunch. Саме тому Twelve Labs навчає моделі зіставляти текст з тим, що відбувається у відео, включаючи дії, об'єкти та фонові звуки.
Такі моделі, як Gemini від Google, можуть здійснювати пошук у відзнятому матеріалі, а Microsoft і Amazon, серед іншого, пропонують послуги відеоаналітики для виявлення об'єктів у кліпах. Але Лі стверджує, що продукти Twelve Labs виділяються своїми можливостями кастомізації, які дозволяють клієнтам пристосовувати моделі до власних даних.
«Такі компанії, як OpenAI й Google, інвестують значні кошти в універсальні мультимодальні моделі, але ці моделі не оптимізовані для відео. Наша відмінність полягає в тому, що ми від самого початку орієнтуємося на відео… Ми вважаємо, що відео заслуговує на нашу основну увагу — воно не є додатком», — пояснив співзасновник Twelve Labs.
Розробники можуть створювати додатки на базі моделей Twelve Labs для пошуку відеоматеріалів тощо. Технології компанії можуть керувати такими процесами, як вставка реклами, модерація контенту та автоматична генерація виділених роликів з кліпів.
Одна з моделей Twelve Labs, Marengo, може шукати не лише відео, але й зображення та аудіо, а також приймати певний аудіозапис, зображення або відеокліп за еталон, щоб допомогти спрямувати пошук.
Крім того, компанія пропонує API, Embed API, для створення мультимодальних вбудовувань для відео, тексту, зображень і аудіофайлів. Вбудовування — це математичне представлення, яке фіксує значення і взаємозв’язки між різними точками даних, що робить їх корисними для виявлення аномалій.
Наразі двома основними партнерами Twelve Labs є Databricks та Snowflake, які використовують її інструменти у своїх продуктах. Databricks розробила інтеграцію, яка дозволяє клієнтам викликати службу вбудовування Twelve Labs з чинних конвеєрів даних. Snowflake створює конектори для моделей Twelve Labs у Cortex AI, своєму повністю керованому сервісі штучного інтелекту.
«Наразі нашу платформу використовують понад 30 000 розробників, починаючи від окремих осіб, які експериментують, і закінчуючи великими підприємствами, які інтегрують нашу технологію у свої робочі процеси», — сказав Лі.
За його словами, протягом наступних кількох років компанія планує розвиватися в нових та суміжних сферах, таких як автомобільна промисловість і безпека.
Нагадаємо, що нещодавно відомий ютубер Маркес Браунлі отримав ранній доступ до відеогенератора Sora від OpenAI та поділився своїми першими враженнями.
