Команда дослідників з Університету Пердью, США, представила дослідження, яке показало, що 52% відповідей, згенерованих ChatGPT стосовно програмування, є неправильними.
Команда дослідників з Університету Пердью, США, представила дослідження, яке показало, що 52% відповідей, згенерованих ChatGPT стосовно програмування, є неправильними.
Для дослідження вчені переглянули 517 запитань у Stack Overflow та проаналізували спроби ChatGPT відповісти на них, пише Futurism.
«Ми виявили, що 52% відповідей ChatGPT містять дезінформацію, 77% відповідей є більш розлогими, ніж відповіді людини, а 78% відповідей страждають від різного ступеня невідповідності людським відповідям», — зазначили у дослідженні.
Команда також провела лінгвістичний аналіз 2000 випадково вибраних відповідей ChatGPT і виявила, що вони були «більш формальними та аналітичними», а також відображали «менш негативні настрої» — такий м’який і веселий тон, який має тенденцію створювати штучний інтелект.
Особливо тривожним є те, що багато програмістів, схоже, віддають перевагу відповідям ChatGPT. Дослідники опитали 12 програмістів — звісно, це невелика вибірка — і з’ясували, що вони віддають перевагу ChatGPT у 35% випадків і не помічають помилок, згенерованих ШІ, у 39% випадків.
Як пояснюють вчені, так відбувається, тому що ввічлива мова, чітко сформульовані відповіді в стилі підручника і повнота — одні з головних причин, чому відповіді ChatGPT виглядали більш переконливими. Тож учасники втратили пильність і не помітили деяку дезінформацію у відповідях ChatGPT.
Дослідження демонструє, що ChatGPT все ще має серйозні недоліки — але це невелика втіха для людей, звільнених із Stack Overflow, або програмістів, яким доводиться виправляти помилки в коді, згенеровані штучним інтелектом.
