💳 Trustee Plus: розраховуйся криптою за допомогою платіжної картки. Ліміт: 50 000 євро 🚀

Американські вчені перевірили як добре ChatGPT розуміється на темі програмування. Результати не на користь чатбота

В американському Університеті Пердью провели дослідження, під час якого ChatGPT задали 517 запитань на тему програмування, на понад половину з яких чатбот дав неправильні відповіді. Хоча, як зазначають дослідники, у своїх відповідях бот був досить переконливим і йому вдалося ввести в оману третину учасників. 

Залишити коментар
Американські вчені перевірили як добре ChatGPT  розуміється на темі програмування. Результати не на користь чатбота
В американському Університеті Пердью провели дослідження, під час якого ChatGPT задали 517 запитань на тему програмування, на понад половину з яких чатбот дав неправильні відповіді. Хоча, як зазначають дослідники, у своїх відповідях бот був досить переконливим і йому вдалося ввести в оману третину учасників. 

Результати дослідження

— 52% відповідей ChatGPT були неправильними,

— 77% визначили як «багатослівні», 

— 39,34% відповідей погодили через їх вичерпність і чітко сформульований стиль мови, але 77% з них були неправильними. 

Вчені помітили, що учасникам було важко виявити ті помилки, які вимагали зовнішньої IDE чи документації, пише The Register. Навіть, коли помилка була очевидною, 2 з 12 учасників відмічали її як правильну. Дослідники пояснили це тим, що відповіді були сформульовані в стилі підручника, а також були повними та логічними. 

Навіть коли відповідь містить кричущу помилку, двоє з 12 учасників дослідження все одно відмітили відповідь, якій надали перевагу. Автори статті пояснюють це приємним, авторитетним стилем ChatGPT."З напівструктурованих інтерв’ю очевидно, що ввічлива мова, чітко сформульовані відповіді в стилі підручника, повнота і приналежність у відповідях змушують абсолютно неправильні відповіді здаватися правильними», — пояснюється в статті.

Самі учасники дослідження назвали декілька причин, чому обирали неправильні варіанти:

—  позитивний настрій і ввічливість у відповідях, 

—  містять змістовну інформацію, чим завойовує довіру, 

— усе детально розписано. 

Також, дослідники дійшли висновків, що ChatGPT частіше припускається концептуальних помилок, ніж фактичних: «Багато відповідей є неправильними через нездатність ChatGPT зрозуміти основний контекст поставленого запитання».

Читайте головні IT-новини країни в нашому Telegram
Читайте головні IT-новини країни в нашому Telegram
По темi
Читайте головні IT-новини країни в нашому Telegram
Цінний домен AI.com почав спрямовувати на X.ai Ілона Маска. Раніше він редіректив на ChatGPT
Цінний домен AI.com почав спрямовувати на X.ai Ілона Маска. Раніше він редіректив на ChatGPT
По темi
Цінний домен AI.com почав спрямовувати на X.ai Ілона Маска. Раніше він редіректив на ChatGPT
Open AI анонсувала кілька покращень для ChatGPT. Вони зявляться вже наступного тижня
Open AI анонсувала кілька покращень для ChatGPT. Вони з’являться вже наступного тижня
По темi
Open AI анонсувала кілька покращень для ChatGPT. Вони з’являться вже наступного тижня
50 промптів для ChatGPT які будуть корисні для бізнесу та заощадять години роботи співробітників
50 промптів для ChatGPT, які будуть корисні для бізнесу та заощадять години роботи співробітників
По темi
50 промптів для ChatGPT, які будуть корисні для бізнесу та заощадять години роботи співробітників

Хочете повідомити важливу новину? Пишіть у Telegram-бот

Головні події та корисні посилання в нашому Telegram-каналі

Обговорення
Коментарів поки немає.