В американському Університеті Пердью провели дослідження, під час якого ChatGPT задали 517 запитань на тему програмування, на понад половину з яких чатбот дав неправильні відповіді. Хоча, як зазначають дослідники, у своїх відповідях бот був досить переконливим і йому вдалося ввести в оману третину учасників.
— 52% відповідей ChatGPT були неправильними,
— 77% визначили як «багатослівні»,
— 39,34% відповідей погодили через їх вичерпність і чітко сформульований стиль мови, але 77% з них були неправильними.
Вчені помітили, що учасникам було важко виявити ті помилки, які вимагали зовнішньої IDE чи документації, пише The Register. Навіть, коли помилка була очевидною, 2 з 12 учасників відмічали її як правильну. Дослідники пояснили це тим, що відповіді були сформульовані в стилі підручника, а також були повними та логічними.
Навіть коли відповідь містить кричущу помилку, двоє з 12 учасників дослідження все одно відмітили відповідь, якій надали перевагу. Автори статті пояснюють це приємним, авторитетним стилем ChatGPT."З напівструктурованих інтерв’ю очевидно, що ввічлива мова, чітко сформульовані відповіді в стилі підручника, повнота і приналежність у відповідях змушують абсолютно неправильні відповіді здаватися правильними», — пояснюється в статті.
Самі учасники дослідження назвали декілька причин, чому обирали неправильні варіанти:
— позитивний настрій і ввічливість у відповідях,
— містять змістовну інформацію, чим завойовує довіру,
— усе детально розписано.
Також, дослідники дійшли висновків, що ChatGPT частіше припускається концептуальних помилок, ніж фактичних: «Багато відповідей є неправильними через нездатність ChatGPT зрозуміти основний контекст поставленого запитання».
