Учені Стенфордського університету виявили, що тексти, написані людьми, для яких англійська не рідна мова, частіше підпадають під статус «створених на основі ШІ» під час перевірки спеціальними програмами. Що може статити великою проблемою в майбутньому.
Учені Стенфордського університету виявили, що тексти, написані людьми, для яких англійська не рідна мова, частіше підпадають під статус «створених на основі ШІ» під час перевірки спеціальними програмами. Що може статити великою проблемою в майбутньому.
Зараз є багато різних програм і сервісів, які перевіряють, чи був контент створений штучним інтелектом. Освітні заклади активно використовують ці інструменти. Розробники запевняють, що точність перевірки складає 99%, але дослідники зі Стенфорда з цим не згодні.
Доцент кафедри біомедичної інформатики Стенфордського університету Джеймс Зоу протестував 91 твір за допомогою семи найпопулярніших інструментів, які сьогодні використовуються в коледжах. Усі ці тексти були написані людьми, для яких англійська мова не є рідною. Більш ніж половина есе були позначені цими програмами як створені штучним інтелектом.
Потім дослідники взяли есе, написані восьмикласниками, які є носіями англійської мови, щоб протестувати ті ж самі інструменти. Понад 90% з них було визнано написаними людьми.
А проблема полягає у складності тексту. Тобто якщо модель може легко передбачити слово, вона оцінює складність тексту як низьку, а якщо їй важко його передбачити, то складність оцінюється як висока. Великі мовні моделі (LLM), такі як ChatGPT, створюють текст із низьким рівнем заплутаності й використовують його для визначення того, згенерований він штучним інтелектом чи ні.
Оскільки не носії мови частіше використовують у своєму письмі звичайні слова та прості шаблони, контент, який вони створюють, із більшою ймовірністю буде позначений як створений ботами.
Таке помилкове оцінювання може стати великою проблемою в освітньому середовищі, поставити під загрозу кар'єрні перспективи студентів, для яких англійська є не рідною, або вплинути на їхній психологічний стан.
