Дослідники з Единбурзького університету перевірили здатність семи відомих мультимодальних великих мовних моделей відповідати на питання, пов’язані з часом, на основі різних зображень годинників або календарів.
Дослідники з Единбурзького університету перевірили здатність семи відомих мультимодальних великих мовних моделей відповідати на питання, пов’язані з часом, на основі різних зображень годинників або календарів.
«Здатність інтерпретувати та міркувати про час на основі візуальних даних є критично важливою для багатьох реальних додатків — від планування подій до автономних систем. Попри досягнення в MLLM, більшість зосереджені на виявленні об'єктів, підписах до зображень або розумінні сцени, залишаючи часові висновки недостатньо вивченим», — говориться в дослідженні.
Команда протестувала:
Моделям надали різні зображення аналогових годинників — хронометри з римськими цифрами, різними кольорами циферблатів і навіть без секундної стрілки, а також 10-річні зображення календаря, пише Gizmodo.
Щодо зображень годинника, дослідники запитували ШІ, котра година показана на годиннику на даному зображенні? Для зображень календаря дослідники ставили прості запитання, наприклад, який день тижня — Новий рік, а також складніші, наприклад, який 153-й день року?
«Читання аналогового годинника і розуміння календаря включають складні когнітивні кроки: вони вимагають тонкого візуального розпізнавання (наприклад, положення годинникової стрілки, розташування клітинок дня) і нетривіальних числових міркувань (наприклад, обчислення зсуву днів)», — пояснили дослідники.
Загалом, ШІ-системи показали не найкращі результати. Вони правильно зчитували час на аналогових годинниках менш ніж у 25% випадків. Вони мали проблеми з годинниками з римськими цифрами та стилізованими стрілками так само як і з годинниками без секундної стрілки, що вказує на те, що проблема може бути пов’язана з виявленням стрілок та інтерпретацією кутів на циферблаті годинника, вважають дослідники.
Gemini-2.0 від Google показав найвищий результат у завданні з годинником, а GPT-o1 був точним у завданні з календарем у 80% випадків — набагато кращий результат, ніж у конкурентів. Але навіть тоді найуспішніша MLLM у календарному завданні все одно помилялася близько 20% часу.
«Більшість людей вміють визначати час і користуватися календарем з раннього віку. Наші висновки вказують на значну прогалину в здатності ШІ виконувати те, що є базовими навичками для людей, — сказав Рохіт Саксена, співавтор дослідження. «Ці недоліки необхідно усунути, якщо ми хочемо успішно інтегрувати системи штучного інтелекту в чутливі до часу реальні програми, такі як планування, автоматизація та допоміжні технології».
