Компанія Groq, яка займається розробкою чипів для штучного інтелекту, і має дуже схожу з «саркастичним чатботом» Ілона Маска Grok, провела вражаючу демонстрацію свого продукту.
Компанія Groq, яка займається розробкою чипів для штучного інтелекту, і має дуже схожу з «саркастичним чатботом» Ілона Маска Grok, провела вражаючу демонстрацію свого продукту.
Назва Grok походить від назви науково-фантастичної книги Роберта Хайнлайна «Чужинець у чужій країні» 1961 року. Слово означає «розуміти глибоко та інтуїтивно». Саме тому так багато ШІ-компаній використовують його для опису своїх ШІ-продуктів.
Крім компанії Groq, яка виробляє чіпи й чатбота Grok Ілона Маска, існує ще ІТ-компанія Grok, що займається розробкою продуктів зі штучним інтелектом.
Як зауважило видання Gizmodo, наразі дві компанії, що займаються штучним інтелектом, претендують на науково-фантастичний термін «Грок», але лише одна з них розганяє індустрію штучного інтелекту.
Мова йде про компанію Groq, чиї демо стали вірусними, і змусили виглядати поточні версії ChatGPT, Gemini (і звісно Grok) млявими й повільними. Groq стверджує, що надає «найшвидші у світі великі мовні моделі», і сторонні тести показують, що це твердження може підтвердитися.
Згідно з демонстраційною версією, розміщеною на X, Groq за долі секунди видає сотні слів змістовної відповіді з посиланням на джерела. В іншій демонстрації засновник і генеральний директор Джонатон Росс дозволив ведучому CNN в прямому ефірі вести усну розмову зі штучним інтелектом чат-бота на іншому кінці світу. Хоча ChatGPT, Gemini та інші чат-боти вражають, Groq може зробити їх блискавично швидкими. Достатньо швидкими, щоб мати практичне застосування в реальному світі.
Groq створює ШІ-чіпи під назвою Language Processing Units (LPU), які можуть бути швидшими за графічні процесори Nvidia (GPU). Графічні процесори Nvidia, вважаються галузевим стандартом для запуску моделей ШІ, але перші результати показують, що LPU можуть випередити їх.
Groq — це не чат-бот, як ChatGPT, Gemini або Grok, а «двигун висновків» (inference engine). Він допомагає чат-ботам працювати неймовірно швидко, але не замінює їх повністю. На сайті Groq вже можна протестувати різних чат-ботів і побачити, наскільки швидко вони працюють, використовуючи LPU Groq.
Groq виробляє 247 токенів на секунду порівняно з 18 токенами на секунду у Microsoft, згідно з результатами стороннього тесту від компанії Artificial Analysis, опублікованими минулого тижня. Це означає, що ChatGPT міг би працювати більш ніж у 13 разів швидше, якби працював на чіпах Groq.
Чат-боти зі штучним інтелектом, такі як ChatGPT, Gemini та Grok, могли б бути значно кориснішими, якби були швидшими. Одне з поточних обмежень полягає в тому, що ці моделі не можуть встигати за людською мовою в реальному часі; деякі затримки створюють відчуття роботизації розмови.
Нещодавно Google підробив демонстраційну версію Gemini, щоб створити враження, ніби Gemini може вести мультимодальну розмову в реальному часі, хоча це не так. Але зі збільшеною швидкістю Grok це відео може стати реальністю.
До Groq Росс був співзасновником підрозділу AI-чіпів Google, який виробляв найсучасніші чіпи для навчання моделей штучного інтелекту. За словами Росса, завдяки LPU Groq обходить два вузьких місця LLM, на яких застряють графічні та центральні процесори: щільність обчислень та пропускна здатність пам’яті.
Хоча Groq привертає багато уваги, компанії ще треба довести, чи мають його ШІ-чіпи таку ж масштабованість, як графічні процесори Nvidia або обчислювальні процесори Google. Чіпи ШІ зараз в центрі уваги генерального директора OpenAI Сема Альтмана, який навіть розглядає можливість власного виробництва.
Підвищена швидкість чіпів Groq може дати поштовх розвитку світу ШІ, створюючи нові можливості для спілкування зі штучним інтелектом у реальному часі з чат-ботами.
