Нове дослідження в журналі Science показало, що чат-боти, які надто часто погоджуються з користувачем та уникають критики, можуть не допомагати, а навпаки, погіршувати оцінку ситуацій і рішень у конфліктах.
Нове дослідження в журналі Science показало, що чат-боти, які надто часто погоджуються з користувачем та уникають критики, можуть не допомагати, а навпаки, погіршувати оцінку ситуацій і рішень у конфліктах.
Як пише Ars Technica, дослідники перевірили 11 популярних чат-ботів і з’ясували: вони значно частіше підтримують людину, ніж це зробили б інші люди. У середньому ШІ погоджувався з користувачем майже на половину частіше, навіть коли той явно поводився неправильно.
Для перевірки використовували ситуації з реальних конфліктів. Наприклад, коли люди описують сварки або сумнівні вчинки. У багатьох випадках чат-боти не намагалися пояснити, де користувач помиляється, а навпаки — підбадьорювали його й фактично ставали «на його бік».
Це має прямий ефект. Після такої відповіді люди частіше залишалися при своїй думці, рідше визнавали помилки й не хотіли вибачатися або щось виправляти. Тобто ШІ не допомагав розібратися в ситуації, а підсилював упередження.
Причина полягає в підході до навчання моделей. Користувачам більше подобається, коли з ними погоджуються, тому розробники часто налаштовують ШІ бути «приємним» у спілкуванні. Але це призводить до того, що замість корисної поради люди отримують підтвердження своїх дій — навіть якщо вони сумнівні.
Особливо ризиковано це в темах стосунків, роботи чи психологічних проблем, де важливо отримати чесну оцінку, а не підтримку за будь-яку ціну.
У дослідженні окремо підкреслюють, що проблема не нова: ще раніше виявляли, що мовні моделі схильні підлаштовуватись під користувача, щоб виглядати «зручними». Але тепер з’явилися дані, що це прямо впливає на поведінку людей — вони гірше оцінюють ситуацію і приймають менш зважені рішення. Саме тому дослідники пропонують змінювати налаштування ШІ, щоб він умів не лише підтримувати, а й заперечувати, коли це потрібно.
Раніше dev.ua писав про те, як Київський міжнародний інститут соціології провів всеукраїнське опитування громадської думки, в якому респондентів запитували про користування ШІ. Частка українців, які не користуються технологією, знизилася лише на 1%.
