Розробник створив те, що він називає «оцінкою свободи слова», SpeechMap, для ШІ-моделей, що лежать в основі чат-ботів, таких як ChatGPT від OpenAI та Grok від X. Мета полягає в тому, щоб порівняти, як різні моделі поводяться з чутливими та суперечливими темами, включаючи політичну критику і питання про громадянські права і протести.
Розробник створив те, що він називає «оцінкою свободи слова», SpeechMap, для ШІ-моделей, що лежать в основі чат-ботів, таких як ChatGPT від OpenAI та Grok від X. Мета полягає в тому, щоб порівняти, як різні моделі поводяться з чутливими та суперечливими темами, включаючи політичну критику і питання про громадянські права і протести.
Розробник під ніком xlr8harder на X розповів TechCrunch, що SpeechMap використовує моделі штучного інтелекту, щоб оцінити, чи відповідають інші моделі заданому набору тестових підказок. Запитання стосуються широкого кола тем — від політики до історичних наративів і національних символів. SpeechMap фіксує, чи моделі «повністю» задовольняють запит (тобто відповідають на нього без ухилянь), чи дають «ухильні» відповіді, чи відверто відмовляються відповідати.
SpeechMap dot AI is launching today.
— xlr8harder (@xlr8harder) April 14, 2025
We analyzed 65k+ responses from 34 AI models see what trends emerged. Some previews:
— Grok is the most permissive model, with 96% compliance.
— OpenAI’s models are getting less permissive over time.
Details and link in reply. pic.twitter.com/QcN2cVxDJF
За даними SpeechMap, моделі OpenAI з часом все частіше відмовляються відповідати на підказки, пов’язані з політикою. Останні моделі компанії, сімейство GPT-4.1, є дещо більш поблажливими, але вони все одно є кроком назад порівняно з одним із торішніх релізів OpenAI.
Найбільш ліберальною моделлю виявилася Grok 3, відповідає на 96,2% тестових підказок SpeechMap, у порівнянні із середнім світовим показником у 71,3%.
«У той час, як останні моделі OpenAI з часом стають менш ліберальними, особливо щодо політично чутливих запитів, xAI рухається в протилежному напрямку», — сказав xlr8harder.
Однак, Xlr8harder визнає, що тест має недоліки, як-от «шум» через помилки постачальника моделі. Також можливо, що моделі «судді» містять упередження, які можуть вплинути на результати.
