Google анонсувала малу версію своєї відкритої моделі Gemma, розроблену для роботи на локальних пристроях. За словами компанії, нову Gemma 3 270M можна швидко налаштувати, і вона зберігає високу продуктивність, попри свої невеликі розміри.
Google анонсувала малу версію своєї відкритої моделі Gemma, розроблену для роботи на локальних пристроях. За словами компанії, нову Gemma 3 270M можна швидко налаштувати, і вона зберігає високу продуктивність, попри свої невеликі розміри.
Google випустила свої перші відкриті моделі Gemma 3 на початку весни, які містять від 1 до 27 млрд параметрів. Нова Gemma 3 має лише 270 млн параметрів і може працювати на таких пристроях, як смартфони, або навіть повністю у веббраузері, пише Ars Technica,
Локальний запуск моделі штучного інтелекту має численні переваги, зокрема покращену конфіденційність і нижчу затримку. Gemma 3 270M була створена саме для таких цілей. Під час тестування на Pixel 9 Pro нова Gemma змогла провести 25 розмов на чипі Tensor G4 і використала лише 0,75% заряду акумулятора пристрою. Це робить її на сьогодні найефективнішою моделлю Gemma.
Розробникам не варто очікувати такого ж рівня продуктивності, як у моделі з кількома мільярдами параметрів, але Gemma 3 270M має свої переваги. Google використала бенчмарк IFEval, який перевіряє здатність моделі виконувати інструкції, щоб показати, що нова модель перевершує свою вагу. Gemma 3 270M набрала 51,2% в цьому тесті, що вище, ніж у інших легких моделей з більшою кількістю параметрів. Нова Gemma, як і очікувалося, не дотягує до моделей з більш ніж мільярдом параметрів, таких як Llama 3.2, але вона ближче до них, ніж можна подумати, маючи лише частину параметрів.
Google стверджує, що Gemma 3 270M добре виконує інструкції «з коробки», але очікує, що розробники доопрацюють модель для своїх конкретних випадків використання. Завдяки невеликій кількості параметрів цей процес є швидким і недорогим. Google розглядає нову Gemma для таких завдань, як класифікація тексту та аналіз даних, які вона може виконувати швидко і без великих обчислювальних вимог.
Gemma 3 270M є відкритою, але не слід плутати з «відкритим вихідним кодом». Попри це, ситуація в багатьох аспектах схожа. Можна безплатно завантажити нову модель Gemma, а її ваги доступні. Окремої комерційної ліцензійної угоди немає, тому розробники можуть вільно змінювати, публікувати та використовувати похідні від Gemma 3 270M у своїх інструментах.
Однак будь-хто, хто використовує моделі Gemma, зобов’язаний дотримуватися умов використання, які забороняють налаштування моделей для створення шкідливих результатів або навмисного порушення правил конфіденційності. Розробники також несуть відповідальність за детальний опис модифікацій та надання копії умов використання для всіх похідних версій, які успадковують власну ліцензію Google.
Gemma 3 270M доступна на платформах, таких як Hugging Face і Kaggle, у попередньо навчених версіях та версіях, налаштованих для виконання інструкцій. Вона також доступна в Google Vertex AI для тестування. Компанія також продемонструвала можливості нової моделі за допомогою повноцінного генератора історій, що працює у браузері на базі Transformer.js.
