Meta зробила свої великі мовні моделі вільно доступними для інших (з деякими обмеженнями) і прагне показати, що вона може конкурувати з іншими найбільшими LLM. Що нового пропонує Llama 3.1.
Meta зробила свої великі мовні моделі вільно доступними для інших (з деякими обмеженнями) і прагне показати, що вона може конкурувати з іншими найбільшими LLM. Що нового пропонує Llama 3.1.
Компанія Meta анонсувала Llama 3.1 405B, велику мовну модель, яка має конкурувати з найбільшими моделями від Anthropic, Google та OpenAI. Цей реліз є найбільшою текстовою мовною моделлю Meta на сьогодні, пише Axios.
Компанія додала підтримку восьми нових мов і більші контекстні вікна (кількість інформації, яку можна розглядати як частину підказки користувача). Нові мови включають французьку, німецьку, хінді, італійську, португальську та іспанську, а також інші мови, які будуть додані. Крім того, компанія Meta повідомила, що її ліцензійні умови тепер дозволяють використовувати результати роботи Llama для вдосконалення інших моделей.
Нова модель з’явилася всього через три місяці після того, як Meta запустила Llama 3, інтегрувавши її в Meta AI, чат-бота, який тепер працює у Facebook, Messenger, Instagram і WhatsApp, а також на смартокулярах компанії.
Мета заявила, що нова модель під назвою Llama 3.1 405B є першою відкрито доступною моделлю, яка може змагатися з конкурентами в загальних знаннях, математичних навичках і перекладі з однієї мови на іншу. Модель була навчена на більш ніж 16 000 графічних процесорів NVIDIA H100, найшвидших нині чипах, які коштують приблизно $25 000 за штуку, і може перевершити конкурентів у більш ніж 150 тестах, стверджує Мета.
«405B» означає 405 мільярдів параметрів, які є внутрішніми змінними, які модель ШІ використовує для міркувань і прийняття рішень. Чим більше параметрів має модель ШІ, тим розумнішою вважається. Для порівняння, модель GPT-4 від OpenAI, за повідомленнями, має приблизно 1,5 трильйона параметрів, хоча компанія поки що офіційно не розголошує цю цифру.
«Наша експериментальна оцінка показує, що наша флагманська модель є конкурентоспроможною з провідними моделями фундаменту в цілому ряді завдань, включаючи GPT-4, GPT-4o і Claude 3.5 Sonnet. Крім того, наші менші моделі є конкурентоспроможними з закритими та відкритими моделями, які мають схожу кількість параметрів», — йдеться в блозі Meta.
Крім того, компанія також випустила оновлені версії наявних моделей Llama, які містять 70 мільярдів і 8 мільярдів параметрів кожна, стверджуючи, що нові версії, серед іншого, мають сильніші здібності до міркувань. Користувачі також можуть протестувати Llama 3.1 через WhatsApp і на Meta.ai — компанія заохочує людей завантажувати її складними математичними або кодувальними проблемами.
Meta заявила, що з наступного місяця додасть можливості ШІ до своєї гарнітури Meta Quest як експериментальну функцію для заміни теперішньої системи голосових команд у VR-гарнітурі.
Нагадаємо, що нещодавно OpenAI, розробник ChatGPT, анонсував GPT-4o mini — меншу і дешевшу версію своєї найпотужнішої моделі штучного інтелекту GPT-4o. У компанії зазначають, що GPT-4o mini замінює стару модель GPT-3.5 Turbo в ChatGPT.
