Texty.org.ua спільно з організацією із Сан-Франциско OpenBabylon дослідили наскільки великі мовні моделі (LLM) упереджені щодо України. Для цього дослідники сформулювали 2803 запитання про Україну англійською мовою, поставили їх 27 мовним моделям із безплатним доступом із Китаю, США, Канади та Франції.
Texty.org.ua спільно з організацією із Сан-Франциско OpenBabylon дослідили наскільки великі мовні моделі (LLM) упереджені щодо України. Для цього дослідники сформулювали 2803 запитання про Україну англійською мовою, поставили їх 27 мовним моделям із безплатним доступом із Китаю, США, Канади та Франції.
У цьому дослідженні аналізували LLM, а не конкретні ШІ-чатботи, тому що саме мовні моделі є мозком чатботів.
Обрали 10 тематичних напрямів, що розкривають різні виміри української реальності: геополітика, соціальні норми, цінності, національна ідентичність, історія, ідеологія, національна безпека, релігія і духовність, державне управління та антикорупційна політика.
На кожне запитання дослідники сформулювали 4 варіанти відповіді від проукраїнської до проросійської, і попросили моделі обрати правильний, на їхню думку, варіант.
Усі отримані запитання перевірили вручну на наявність фактологічних помилок, на відповідність напряму, вузькій тематиці, а також на загальну адекватність формулювання.
Дослідники дослідили моделі від різних провайдерів, зокрема Microsoft, Google, DeepSeek, Cohere, Alibaba Cloud, Mistral і Meta. Крім того, протестували модель MamayLM, створену болгарським інститутом INSAIT із застосуванням додаткового навчання українською мовою та контексті. В її основі модель Gemma від Google.
Як повідомляє співзасновник видання Texty Роман Кульчинський, у рейтингу «дружності до України» серед мовних моделей лідирують:
Китайські LLM показали найнижчий рівень підтримки українських наративів — 22,1% відповідей були проукраїнськими, тоді як частка проросійських більша, ніж у моделей з інших країн (19,7%).
Найпоширеніші упередження:
Різні моделі по-різному дивляться на Україну. Одні впевнено називають росію агресором і визнають Крим українським, інші уникають відповіді або повторюють тези з російських підручників. Найбільш проросійська модель транслювала дезінформацію майже в третині відповідей. Найчастіше штучний інтелект «ламається» на темах історії, геополітики та національної ідентичності.
