Команда исследователей из Университета Пердью, США, представила исследование, показавшее, что 52% ответов, сгенерированных ChatGPT относительно программирования, неправильны.
Команда исследователей из Университета Пердью, США, представила исследование, показавшее, что 52% ответов, сгенерированных ChatGPT относительно программирования, неправильны.
Для исследования ученые просмотрели 517 вопросов Stack Overflow и проанализировали попытки ChatGPT ответить на них, пишет Futurism.
«Мы обнаружили, что 52% ответов ChatGPT содержат дезинформацию, 77% ответов более пространны, чем ответы человека, а 78% ответов страдают от разной степени несоответствия человеческим ответам», — отметили в исследовании.
Команда также провела лингвистический анализ 2000 случайно выбранных ответов ChatGPT и обнаружила, что они были «более формальными и аналитическими», а также отражали «менее отрицательные настроения» — такой мягкий и веселый тон, имеющий тенденцию создавать искусственный интеллект.
Особенно тревожно то, что многие программисты, похоже, предпочитают ответы ChatGPT. Исследователи опросили 12 программистов — конечно, это небольшая выборка — и выяснили, что они предпочитают ChatGPT в 35% случаев и не замечают ошибок, сгенерированных ИИ, в 39% случаев.
Как объясняют ученые, так происходит, потому что вежливый язык, четко сформулированные ответы в стиле учебника и полнота — одни из главных причин, почему ответы ChatGPT выглядели более убедительными. Поэтому участники потеряли бдительность и не заметили некоторой дезинформации в ответах ChatGPT.
Исследование демонстрирует, что ChatGPT все еще имеет серьезные недостатки — но это небольшое утешение для людей, уволенных из Stack Overflow, или программистов, которым приходится исправлять ошибки в коде, сгенерированные искусственным интеллектом.
