Chernovtsy
Хочете будувати кар’єру в Data Science та AI? Vodafone Big Data Lab відкриває новий набір —>

Прошита PlayStation 4 запускає ШІ-модель на 9 млрд параметрів зі швидкістю до 43 токенів на секунду

Розробник Леонардо Алегрія представив проєкт із відкритим вихідним кодом Garlic LLM, який дозволяє запускати локальну мовну модель Qwen3.5-9B на прошитій консолі PlayStation 4. Програма працює повністю в офлайн-режимі на графічному процесорі 2013 року, генеруючи текст зі швидкістю 31–39 токенів на секунду, а під час написання коду розганяється до 43 токенів на секунду.

Залишити коментар
Додай у Google
Прошита PlayStation 4 запускає ШІ-модель на 9 млрд параметрів зі швидкістю до 43 токенів на секунду

Розробник Леонардо Алегрія представив проєкт із відкритим вихідним кодом Garlic LLM, який дозволяє запускати локальну мовну модель Qwen3.5-9B на прошитій консолі PlayStation 4. Програма працює повністю в офлайн-режимі на графічному процесорі 2013 року, генеруючи текст зі швидкістю 31–39 токенів на секунду, а під час написання коду розганяється до 43 токенів на секунду.

Без драйверів і посередників: як це влаштовано

Головна особливість Garlic LLM — пряме звернення до «заліза» консолі в обхід стандартних графічних драйверів або популярних рушіїв на кшталт llama.cpp чи портів Vulkan (які використовують, наприклад, ентузіасти на PS5), повідомляє Tom’s Hardware.

Проєкт отримав назву на честь області пам’яті Garlic, до якої графічний чип PS4 має прямий доступ (парна до неї область системної пам’яті називається Onion).

Обчислювальні ядра написані на OpenCL C та скомпільовані за допомогою LLVM спеціально під архітектуру AMD Graphics Core Next (GCN). Замість графічного драйвера програма самостійно формує низькорівневі буфери команд PM4 для GPU, тоді як центральний процесор (CPU) на чистому C відповідає за токенізатор, інтерфейс, рендеринг тексту та звук.

Оскільки CPU та GPU ділять між собою 8 ГБ оперативної пам’яті консолі, розробник використав комбіноване стиснення. Більшість ваг моделі стиснуто до 4 бітів (Q4), а дві найбільші матриці в кожному шарі — до 3 бітів (Q3). Це дозволило зменшити розмір Qwen3.5-9B до 4,5 ГіБ (замість 9 ГБ при 8-бітному поданні) та вмістити контекстне вікно на 16 000 токенів.

Для прискорення роботи на 13-річному залізі застосовується спекулятивне декодування: модель передбачає до двох токенів наперед, після чого перевіряє їх. Завдяки цьому відповідь обсягом у 300 токенів генерується менш ніж за дев’ять секунд.

Голосове спілкування та вимоги до консолі

Окрім текстового чату, Garlic LLM підтримує повноцінну голосову взаємодію з локальним розпізнаванням та синтезом мовлення:

  • затискання кнопки на геймпаді активує диктування за допомогою моделі Nvidia Parakeet TDT 0.6B v3 (0,33 ГіБ), яка підтримує 25 європейських мов;

  • асистент може відповідати голосом сімома мовами завдяки мовленнєвій моделі Chatterbox (у цьому режимі швидкість генерації становить близько 22 токенів на секунду).

Загальний розмір пакета становить 5,66 ГБ — він безкоштовно доступний на платформі Hugging Face і встановлюється через стандартний Package Installer на консолях із активованим експлойтом GoldHEN. Розробник тестував програму на базовій PS4 (Slim) із прошивкою 11.52. Робота на PS4 Pro наразі не перевірялася (автор збирає відгуки на GitHub), а з PS5 застосунок несумісний через специфічну архітектуру GPU та системного ПЗ четвертої PlayStation.

Український ентузіаст створив портативну ретро-консоль за 810 гривень на базі ESP32-S3 та виклав проєкт у відкритий доступ
Український ентузіаст створив портативну ретро-консоль за 810 гривень на базі ESP32-S3 та виклав проєкт у відкритий доступ
По темi
Український ентузіаст створив портативну ретро-консоль за 810 гривень на базі ESP32-S3 та виклав проєкт у відкритий доступ
Youtube-блогер розібрав PlayStation 5 Slim і показав що всередині консолі
Youtube-блогер розібрав PlayStation 5 Slim і показав, що всередині консолі
По темi
Youtube-блогер розібрав PlayStation 5 Slim і показав, що всередині консолі
Читайте головні IT-новини країни в нашому Telegram
Читайте головні IT-новини країни в нашому Telegram
По темi
Читайте головні IT-новини країни в нашому Telegram
Читайте також
Штучний інтелект DALL-E навчився домальовувати картини. Як це виглядає
Штучний інтелект DALL-E навчився домальовувати картини. Як це виглядає
Штучний інтелект DALL-E навчився домальовувати картини. Як це виглядає
5 коментарів
Вересневі ігри для підписників PlayStation Plus вже злили у мережу. Розповідаємо, що до них увійшло
Вересневі ігри для підписників PlayStation Plus вже злили у мережу. Розповідаємо, що до них увійшло
Вересневі ігри для підписників PlayStation Plus вже злили у мережу. Розповідаємо, що до них увійшло
1 коментар
Штучний інтелект почав озвучувати фільми на MEGOGO
Штучний інтелект почав озвучувати фільми на MEGOGO
Штучний інтелект почав озвучувати фільми на MEGOGO
6 коментарів
Штучний інтелект навчився реставрувати старі фотографії, перетворюючи їх на якісні зображення: відео
Штучний інтелект навчився реставрувати старі фотографії, перетворюючи їх на якісні зображення: відео
Штучний інтелект навчився реставрувати старі фотографії, перетворюючи їх на якісні зображення: відео
2 коментарі

Хочете повідомити важливу новину? Пишіть у Telegram-бот

Головні події та корисні посилання в нашому Telegram-каналі

Обговорення
Коментарів поки немає.