В американском Университете Пердью провели исследование, в ходе которого ChatGPT задали 517 вопросов на тему программирования, более половины из которых чатбот дал неправильные ответы. Хотя, как отмечают исследователи, в своих ответах бот был достаточно убедительным, и ему удалось ввести в заблуждение треть участников.
— 52% ответов ChatGPT были неправильными,
— 77% определили как «многословные»,
— 39,34% ответов согласовали из-за их исчерпывающего и четко сформулированного стиля языка, но 77% из них были неправильными.
Ученые заметили, что участникам было трудно обнаружить ошибки, которые требовали внешней IDE или документации, пишет The Register. Даже когда ошибка была очевидной, 2 из 12 участников отмечали ее как правильную. Исследователи объяснили это тем, что ответы были сформулированы в стиле учебника, а также были полны и логичны.
Даже когда ответ содержит вопиющую ошибку, двое из 12 участников исследования все равно отметили ответ, который предпочли. Авторы статьи объясняют это приятным, авторитетным стилем ChatGPT. "Из полуструктурированных интервью очевидно, что вежливая речь, четко сформулированные ответы в стиле учебника, полнота и принадлежность в ответах заставляют совершенно неправильные ответы казаться правильными", - объясняется в статье.
Сами участники исследования назвали несколько причин, почему выбирали неправильные варианты:
- положительное настроение и вежливость в ответах,
— содержат содержательную информацию, чем завоевывает доверие,
— подробно расписано.
Также, исследователи пришли к выводам, что ChatGPT чаще допускает концептуальные ошибки, чем фактические: «Многие ответы неправильны из-за неспособности ChatGPT понять основной контекст поставленного вопроса».
