Дослідники з Університету Маямі розробили математичний метод, який може допомогти великій мовній моделі розпізнавати, коли її відповідь може бути ненадійною.
Дослідники з Університету Маямі розробили математичний метод, який може допомогти великій мовній моделі розпізнавати, коли її відповідь може бути ненадійною.
Про це розповідає Tech Xplore.
Зараз чат-боти на кшталт ChatGPT зазвичай намагаються сформувати відповідь навіть тоді, коли не мають достатньо надійної інформації. Через це модель може впевнено повідомляти неправдиві факти замість того, щоб сказати, що не знає відповіді. Один із поширених способів зрозуміти, чи «сумнівається» модель, — поставити їй те саме запитання кілька разів. Якщо відповіді сильно різняться, це може бути ознакою невпевненості.
Команда Університету Маямі пішла далі й запропонувала аналізувати не лише самі відповіді, а й імовірності, на основі яких модель обирає слова та формує текст. Дослідники перевіряють, наскільки стабільними залишаються ці ймовірності за невеликих змін. Якщо вони різко коливаються, відповідь може бути менш надійною.
Також команда враховує відповіді, які модель могла б сформувати, але фактично не показала користувачу. Для цього використовується статистичний підхід, який оцінює ймовірність існування ще не спостережуваних варіантів. За задумом авторів, у майбутньому це може дозволити ШІ повідомляти користувачу, що він не впевнений, пропонувати кілька можливих варіантів або просити додатковий контекст.
«Кінцева мета — щоб LLM могла сказати: “Я не впевнена, але ось найімовірніші відповіді, які в мене є”, або навіть попросити більше контексту перед відповіддю», — пояснив один з авторів роботи.
Підхід протестували у 116-ти експериментах на математичних задачах і наборах запитань та відповідей, використовуючи моделі сімейств Mistral, Falcon і Llama. Автори дослідження повідомляють, що метод показав кращі результати, ніж їхні попередні підходи до визначення ненадійних відповідей.
Раніше dev.ua писав про норвежця Арве Х’ялмара Хольмена, про якого ChatGPT вигадав, що той убив двох власних дітей і намагався вбити третього.
Коментар прихований за порушення правил коментування.