Результати оцінювання незалежної компанії Artificial Analysis, яка займається тестуванням штучного інтелекту, показали, що китайські ШІ-моделі суттєво поступаються провідним американським аналогам. Після зміни методології тестування розрив між лідерами ринку та відкритими альтернативами збільшився в чотири рази.
Результати оцінювання незалежної компанії Artificial Analysis, яка займається тестуванням штучного інтелекту, показали, що китайські ШІ-моделі суттєво поступаються провідним американським аналогам. Після зміни методології тестування розрив між лідерами ринку та відкритими альтернативами збільшився в чотири рази.
Це ставить під сумнів тези про те, що дешеві технології з Китаю загрожують бізнес-моделям таких гігантів, як OpenAI та Anthropic, пише Business Insider.
Основна причина суттєвої зміни результатів полягає у засекреченні самих тестових завдань. Раніше компанії-розробники мали змогу дотреновувати свої моделі безпосередньо під відомі бенчмарки, що створювало ілюзію високої ефективності в реальному світі. За старою системою оцінювання найкращі моделі з відкритими вагами відставали від абсолютного лідера лише на 3 бали, тоді як за оновленою секретною методикою ця різниця зросла до 12 балів.
Прикладом такого падіння стала китайська модель Kimi K3.1 Pro від Moonshot. У категорії моделей із публічно оприлюдненими вагами найкращі представники набрали лише 32 бали, в той час як флагман від Anthropic — Claude Opus 5.5 — здобув 58 балів. Навіть компактна модель Claude Haiku 5.5 продемонструвала кращі результати за будь-який відкритий аналог.
Експерти ринку вже тривалий час описували це явище як маніпуляцію показниками.
«У той день, коли результати тестів стали закритими, розрив між відкритими моделями збільшився з 3 до 12 пунктів. Чи відкриті моделі наздоганяли, чи, можливо, стався витік інформації про тест?» — прокоментував ситуацію генеральний директор Snowflake Срідхар Рамасвамі.
Скептицизм стосовно китайських розробок підкріплюється і реальним рівнем їхнього використання. Співзасновник сервісу OpenCode Дакс Раад проаналізував трафік через популярний шлюз OpenRouter і дійшов висновку, що добову активність китайської DeepSeek здатна забезпечити інфраструктура лише з одного сервера Nvidia вартістю $6-7 млн. Для порівняння, щомісячна аудиторія ChatGPT перевищує 1 млрд користувачів, що свідчить про гігантський відрив закритих американських платформ за обсягами споживання.
Раніше стрімкий розвиток китайських відкритих технологій змушував інвесторів сумніватися в доцільності оцінки американських стартапів у сотні мільярдів доларів. Нагадаємо, що китайський розробник штучного інтелекту DeepSeek залучив близько 100 млрд юанів ($15 млрд) у межах останнього раунду фінансування. Це один із найбільших інвестиційних раундів в історії країни, проте все ще значно менше ніж в OpenAI та Anthropic, які залучили понад $100 млрд кожна.
