Місяць «дієти» з жартами й легким контентом у соцмережі Х зробив кілька популярних чатботів помітно слабшими: моделі гірше міркували, частіше помилялися, губили деталі та впевненіше відстоювали хибні відповіді.
Місяць «дієти» з жартами й легким контентом у соцмережі Х зробив кілька популярних чатботів помітно слабшими: моделі гірше міркували, частіше помилялися, губили деталі та впевненіше відстоювали хибні відповіді.
За даними DTF Magazine, дослідження провели команди з університетів Пердью та Техасу. Вони протягом місяця «годували» кілька моделей добіркою дуже популярних коротких дописів із Х. Це були пости, що масово збирають лайки й поширення, але часто мало що пояснюють, а також текстів із перебільшеннями та невисокою користю. Після такого раціону здатність до міркування впала приблизно на 23%, довгострокова пам’ять — на 30%, а тести на особистісні риси показали зростання показників нарцисизму й психопатії.
Автори вимірювали не лише загальні тенденції, а й конкретні бали на контрольних наборах завдань: коли частка «легкого» контенту у стрічці зростала від нуля до ста відсотків, результати стійко просідали. Моделі гірше тримали довгі тексти, пропускали логічні кроки, відповідали загальниками замість фактів і дедалі частіше помилялися з упевненим тоном.
Після експерименту чатботів ще раз тренували на відібраному якісному матеріалі, однак початкового рівня повністю повернути не вдалося. Дослідники припускають, що вплив «сміттєвої дієти» накопичується й не зникає одразу, тож вирішальне значення має щоденний контроль за тим, що саме читає й оновлює модель. Рекомендації звучать просто: ретельніше відбирати джерела, регулярними тестами ловити ранні ознаки деградації та не підмішувати популярний, але порожній контент без фільтрів.
Робота потребує незалежної перевірки й рецензування, а визначення «низькоякісного контенту» лишається предметом дискусій. Водночас висновки добре лягають у ширшу картину: соціальні платформи продукують багато гучного, але малоінформативного матеріалу, який просочується в навчальні й оновлювальні вибірки. Що обережніший «раціон» ШІ, то довше він зберігає ясність мислення.
Раніше dev.ua писав про те, як OpenAI разом із Гарвардським економістом Девідом Демінгом провели масштабне дослідження й проаналізували 1,5 млн діалогів користувачів ChatGPT. Результати показали: чатбот дедалі рідше застосовують для роботи, а переважно для порад, пошуку інформації та редагування текстів.
