Groq створює ШІ-чіпи під назвою Language Processing Units (LPU), які можуть бути швидшими за графічні процесори Nvidia (GPU). Графічні процесори Nvidia, вважаються галузевим стандартом для запуску моделей ШІ, але перші результати показують, що LPU можуть випередити їх.
Groq — це не чат-бот, як ChatGPT, Gemini або Grok, а «двигун висновків» (inference engine). Він допомагає чат-ботам працювати неймовірно швидко, але не замінює їх повністю. На сайті Groq вже можна протестувати різних чат-ботів і побачити, наскільки швидко вони працюють, використовуючи LPU Groq.
Groq виробляє 247 токенів на секунду порівняно з 18 токенами на секунду у Microsoft, згідно з результатами стороннього тесту від компанії Artificial Analysis, опублікованими минулого тижня. Це означає, що ChatGPT міг би працювати більш ніж у 13 разів швидше, якби працював на чіпах Groq.
Засновник і генеральний директор Groq Джонатон Росс раніше був співзасновником підрозділу AI-чіпів Google, який виробляв найсучасніші чіпи для навчання моделей штучного інтелекту.