Gemini у серпні відмовився відповідати на запитання про перше півріччя 2026 року, бо вважав, що воно ще не завершилося. Інші чатботи видавали заплановані зміни за поточний стан справ і підхоплювали помилки з офіційних джерел. Британські фактчекери протягом 70 днів перевіряли ChatGPT, Claude, Gemini, DeepSeek і Grok та проаналізували точність понад 7600 відповідей популярних ШІ-моделей.
Gemini у серпні відмовився відповідати на запитання про перше півріччя 2026 року, бо вважав, що воно ще не завершилося. Інші чатботи видавали заплановані зміни за поточний стан справ і підхоплювали помилки з офіційних джерел. Британські фактчекери протягом 70 днів перевіряли ChatGPT, Claude, Gemini, DeepSeek і Grok та проаналізували точність понад 7600 відповідей популярних ШІ-моделей.
Про це йдеться в дослідженні британської фактчекінгової організації Full Fact.
Дослідники щодня ставили п’ятьом популярним чатботам однакові 22 запитання. Наприклад, хто зараз прем'єр-міністр Великої Британії, чи потрібне посвідчення особи для голосування або скільки грошей отримують біженці. Хоча ШІ-моделі часто відповідали правильно, деякі результати виявилися доволі несподіваними.
Наприклад, Gemini заплуталася в календарі. 22-го липня версія Gemini 2.5 Pro відмовилася повідомити, скільки мігрантів прибуло до Великої Британії за перше півріччя 2026 року. Модель пояснила, що цей період нібито ще не завершився. 1-го серпня схожу помилку зробила Gemini 2.5 Flash.
Ще чатботи розповідали про майбутні зміни так, ніби вони вже відбулися. Наприклад, деякі моделі повідомляли, що у Великій Британії вже можна використовувати банківські картки для підтвердження особи на виборах. Але насправді ці зміни ще не набули чинності.
Також Gemini підкріплювала відповіді джерелами, які не стосувалися до запитання. Дослідники попросили модель визначити, хто представляє в британському парламенті один з округів за його поштовим індексом. Але Gemini послався на американську газету The Montague Reporter за 2012 рік. Фактчекери перевірили публікацію та з
А ще Gemini може правильно порахувати, але отримати неправильну відповідь. На запитання про кількість мігрантів за перше півріччя модель назвала 12 210 осіб. Вона самостійно відняла липневі прибуття від загальної кількості станом на 1 серпня. Арифметично все було правильно, але модель забула виключити дані за 1 серпня.
Бувало й так, що чатбот сьогодні відповідав правильно, а наступного дня — вже ні. Наприклад, на запитання про останній великий футбольний трофей Англії деякі моделі називали то 2025-й рік, то 2022-й.
За підсумками перевірки Full Fact виділила три слабкі місця чатботів: інформація, яка швидко змінюється, правила чи закони, що відрізняються залежно від регіону, та запитання, на які немає однієї однозначної відповіді.
Утім, фактчекери наголошують, що моделі часто справлялися із запитаннями та не повторювали поширену дезінформацію. Full Fact уже розпочала другий етап перевірки. Тепер дослідники щодня ставлять моделям понад 150 запитань. Вони також хочуть з’ясувати, чи впливають на відповіді формулювання запитання та те, які політичні погляди зазначає користувач.
Раніше dev.ua писав, що журналісти Tom’s Guide перевірили ChatGPT, Gemini та Claude на семи запитаннях про воєнні новини. За результатами тестування Claude найкраще впорався з усіма завданнями, ChatGPT іноді додавав непідтверджені подробиці, а Gemini найчастіше вигадував деталі, яких не було в джерелах.
