Компания Groq, занимающаяся разработкой чипов для искусственного интеллекта, и имеющая очень схожую с « саркастическим чатботом » Илона Маска Grok, провела поразительную демонстрацию своего продукта.
Компания Groq, занимающаяся разработкой чипов для искусственного интеллекта, и имеющая очень схожую с « саркастическим чатботом » Илона Маска Grok, провела поразительную демонстрацию своего продукта.
Название Grok происходит от названия научно-фантастической книги Роберта Хайнлайна «Чужаков в чужой стране» 1961 года. Слово означает «понимать глубоко и интуитивно». Именно поэтому так много ши-компаний используют его для описания своих ши-продуктов.
Помимо компании Groq, производящей чипы и чатбота Grok Илона Маска, существует еще ИТ-компания Grok, занимающаяся разработкой продуктов с искусственным интеллектом.
Как отметило издание Gizmodo, две компании, занимающиеся искусственным интеллектом, претендуют на научно-фантастический термин «Грок», но лишь одна из них разгоняет индустрию искусственного интеллекта.
Речь идет о компании Groq, чьи демо стали вирусными, и заставили выглядеть текущие версии ChatGPT, Gemini (и конечно Grok) вялыми и медленными. Groq утверждает, что предоставляет самые «быстрые в мире большие языковые модели», и посторонние тесты показывают, что это утверждение может подтвердиться.
Согласно демонстрационной версии, размещенной на X, Groq за доли секунды выдает сотни слов содержательного ответа со ссылкой на источники. В другой демонстрации основатель и генеральный директор Джонатон Росс разрешил ведущему CNN в прямом эфире вести устный разговор с искусственным интеллектом чат-бота на другом конце света. Хотя ChatGPT, Gemini и другие чат-боты впечатляют, Groq может сделать их молниеносно быстрыми. Достаточно быстры, чтобы иметь практическое применение в реальном мире.
Groq создает ИИ-чипы под названием Language Processing Units (LPU), которые могут быть быстрее графических процессоров Nvidia (GPU). Графические процессоры Nvidia считаются отраслевым стандартом для запуска моделей ИИ, но первые результаты показывают, что LPU могут опередить их.
Groq — это не чат-бот, как ChatGPT, Gemini или Grok, а «двигатель выводов» (inference engine). Он помогает чат-ботам работать невероятно быстро, но не заменяет их полностью. На сайте Groq уже можно протестировать разных чат-ботов и увидеть, насколько быстро они работают, используя LPU Groq.
Groq производит 247 токенов в секунду по сравнению с 18 токенами в секунду в Microsoft, согласно результатам постороннего теста от компании Artificial Analysis, опубликованным на прошлой неделе. Это означает, что ChatGPT мог бы работать более чем в 13 раз быстрее, если бы работал на чипах Groq.
Чат-боты с искусственным интеллектом, такие как ChatGPT, Gemini и Grok, могли бы быть более полезными, если бы были быстрее. Одно из текущих ограничений состоит в том, что эти модели не могут успевать за человеческим языком в реальном времени; некоторые задержки создают ощущение роботизации разговора.
Недавно Google подделал демонстрационную версию Gemini, чтобы создать впечатление, что Gemini может вести мультимодальный разговор в реальном времени, хотя это не так. Но с увеличенной скоростью Grok это видео может стать реальностью.
До Groq Росс был соучредителем подразделения AI-чипов Google, производившего самые современные чипы для обучения моделей искусственного интеллекта. По словам Росса, благодаря LPU Groq обходит два узких места LLM, на которых застревают графические и центральные процессоры: плотность вычислений и пропускная способность памяти.
Хотя Groq привлекает много внимания, компании еще нужно доказать, имеют ли его ИИ-чипы такую же масштабируемость, как графические процессоры Nvidia или вычислительные процессоры Google. Чипы ИИ сейчас в центре внимания генерального директора OpenAI Сэма Альтмана, даже рассматривающего возможность собственного производства.
Повышенная скорость чипов Groq может дать толчок развитию мира ИИ, создавая новые возможности для общения с искусственным интеллектом в реальном времени с чат-ботами.
