Дослідники придумали три способи попереджати про галюцинації ШІ-агентів у VR-середовищі. Який із них працює найкраще?
Як має поводитися ШІ-персонаж у VR, якщо сам не впевнений у своїй відповіді? Дослідники з Університету штату Північна Кароліна перевірили три варіанти: він може показати це жестом, вивести спеціальну іконку або підсвітити сумнівний фрагмент тексту. Усі три способи допомогли користувачам краще помічати «галюцинації» ШІ. Але кожен мав свої мінуси.
Як має поводитися ШІ-персонаж у VR, якщо сам не впевнений у своїй відповіді? Дослідники з Університету штату Північна Кароліна перевірили три варіанти: він може показати це жестом, вивести спеціальну іконку або підсвітити сумнівний фрагмент тексту. Усі три способи допомогли користувачам краще помічати «галюцинації» ШІ. Але кожен мав свої мінуси.
Про це йдеться в дослідженні Signals of AI Hallucination: Designing Hallucination-Aware Cues for Embodied Conversational Agents in VR.
У дослідженні йдеться про так званих embodied conversational agents — розмовних ШІ-агентів, які мають віртуальне «тіло», можуть говорити, жестикулювати та використовувати міміку. Такі персонажі можуть використовуватися, наприклад, у навчальних програмах у віртуальній реальності.
Як такий агент може виглядати
У звичайному чатботі попередити користувача про сумнівну відповідь відносно легко: можна виділити текст або додати посилання на джерело. У VR усе складніше, адже персонаж говорить наживо, його репліка швидко закінчується, а користувач паралельно стежить за тим, що відбувається навколо.
Щоб перевірити різні варіанти попереджень, дослідники запросили 24 студентів поспілкуватися у VR з віртуальною ШІ-персонажкою. Вона час від часу говорила неправдиві твердження.
В одному випадку персонажка показувала невпевненість мовою тіла. Наприклад, схрещувала руки. В іншому, поруч із нею з’являлася іконка, яка підказувала, що інформацію варто перевірити. У третьому варіанті репліки дублювалися субтитрами, де сумнівні місця виділяли кольором. Також була контрольна версія без жодних попереджень.
Найкраще помічати галюцинації допомагав текст. Але саме він найбільше відволікав людей від VR-середовища. Із жестами вийшло навпаки: вони найменше руйнували відчуття присутності у віртуальному світі. Ще користувачі більше довіряли такій ШІ-персонажці. Проте зрозуміти, що саме означає її поведінка, було складніше. Іконки опинилися десь посередині: вони були зрозумілішими за жести, але не так сильно відволікали від VR, як текстові підказки.
У жестів є ще одна проблема. Дослідники зазначають, що одна й та сама мова тіла може означати різне залежно від культури. Наприклад, уникання зорового контакту в одному середовищі може сигналізувати про невпевненість, а в іншому — про повагу.
Дослідники вважають, що в майбутньому розробники зможуть комбінувати різні типи попереджень залежно від ситуації: десь важливіше максимально чітко показати сумнівність відповіді, а десь — не руйнувати занурення користувача у VR.
Раніше dev.ua писав, що туристи у США почали потрапляти в небезпечні ситуації через надмірну довіру до відповідей ШІ
У 18 років «захантив» SoftServe, у 21 — відкрив власну компанію. Історія львівського IT-вундеркінда
Гліб Щур — випускник кафедри систем штучного інтелекту НУ «Львівська політехніка». На молодших курсах його запросила на роботу IT-компанія SoftServe, де він працював майже 3 роки розробником у R&D-відділі. А вже у 2021 році Гліб заснував власну компанію та став CSO у 21 рік. Розповідаємо історію львівського «самородка».