Chernovtsy
Хочете будувати кар’єру в Data Science та AI? Vodafone Big Data Lab відкриває новий набір —>

Flashed PlayStation 4 runs AI model with 9 billion parameters at up to 43 tokens per second

Developer Leonardo Alegria has unveiled an open-source project called Garlic LLM, which allows you to run the local Qwen3.5-9B language model on a flashed PlayStation 4 console. The program runs completely offline on a 2013 GPU, generating text at a speed of 31–39 tokens per second, and speeds up to 43 tokens per second when writing code.

Leave a comment
Add to Google
Flashed PlayStation 4 runs AI model with 9 billion parameters at up to 43 tokens per second

Developer Leonardo Alegria has unveiled an open-source project called Garlic LLM, which allows you to run the local Qwen3.5-9B language model on a flashed PlayStation 4 console. The program runs completely offline on a 2013 GPU, generating text at a speed of 31–39 tokens per second, and speeds up to 43 tokens per second when writing code.

Without drivers and intermediaries: how it works

The main feature of Garlic LLM is direct access to the console's hardware, bypassing standard graphics drivers or popular engines like llama.cpp or Vulkan ports (which are used, for example, by enthusiasts on PS5), reports Tom's Hardware.

The project is named after the Garlic memory area, which the PS4 graphics chip has direct access to (the corresponding system memory area is called Onion).

The compute cores are written in OpenCL C and compiled using LLVM specifically for the AMD Graphics Core Next (GCN) architecture. Instead of a graphics driver, the program independently generates low-level PM4 instruction buffers for the GPU, while the central processing unit (CPU) in pure C is responsible for the tokenizer, interface, text rendering, and sound.

Since the CPU and GPU share the console's 8GB of RAM, the developer used a combined compression. Most of the model weights were compressed to 4 bits (Q4), and the two largest matrices in each layer were compressed to 3 bits (Q3). This reduced the size of Qwen3.5-9B to 4.5 GiB (instead of 9 GB with an 8-bit representation) and allowed for a context window of 16,000 tokens.

To speed up the process on the 13-year-old hardware, speculative decoding is used: the model predicts up to two tokens in advance and then checks them. Thanks to this, a response of 300 tokens is generated in less than nine seconds.

Voice communication and console requirements

In addition to text chat, Garlic LLM supports full voice interaction with local speech recognition and synthesis:

  • pressing the button on the gamepad activates dictation using the Nvidia Parakeet TDT 0.6B v3 model (0.33 GiB), which supports 25 European languages;

  • The assistant can respond by voice in seven languages ​​thanks to the Chatterbox speech model (in this mode, the generation speed is about 22 tokens per second).

The total package size is 5.66 GB — it is freely available on the Hugging Face platform and is installed via the standard Package Installer on consoles with the GoldHEN exploit activated. The developer tested the program on a basic PS4 (Slim) with firmware 11.52. Work on PS4 Pro has not yet been tested (the author is collecting feedback on GitHub ), and the application is incompatible with PS5 due to the specific GPU architecture and system software of the fourth PlayStation.

A Ukrainian enthusiast created a portable retro console for 810 hryvnias based on ESP32-S3 and made the project open source
A Ukrainian enthusiast created a portable retro console for 810 hryvnias based on ESP32-S3 and made the project open source
On the topic
A Ukrainian enthusiast created a portable retro console for 810 hryvnias based on ESP32-S3 and made the project open source
Youtube blogger disassembled PlayStation 5 Slim and showed what's inside the console
A YouTube blogger tore apart the PlayStation 5 Slim and showed what's inside the console
On the topic
A YouTube blogger tore apart the PlayStation 5 Slim and showed what's inside the console
Read the country's main IT news in our Telegram
Read the country's main IT news in our Telegram
On the topic
Read the country's main IT news in our Telegram
Also Read
Roosh запускає нову освітню платформу AI HOUSE CLUB для ML/AI-спеціалістів та дата сайнтистів. Розповідаємо, як подати заявку та чому навчатимуть
Roosh запускає нову освітню платформу AI HOUSE CLUB для ML/AI-спеціалістів та дата сайнтистів. Розповідаємо, як подати заявку та чому навчатимуть
Roosh запускає нову освітню платформу AI HOUSE CLUB для ML/AI-спеціалістів та дата сайнтистів. Розповідаємо, як подати заявку та чому навчатимуть
Вересневі ігри для підписників PlayStation Plus вже злили у мережу. Розповідаємо, що до них увійшло
Вересневі ігри для підписників PlayStation Plus вже злили у мережу. Розповідаємо, що до них увійшло
Вересневі ігри для підписників PlayStation Plus вже злили у мережу. Розповідаємо, що до них увійшло
1 comment
Як нейромережі бачать вільну та незалежну Україну? Тест dev.ua
Як нейромережі бачать вільну та незалежну Україну? Тест dev.ua
Як нейромережі бачать вільну та незалежну Україну? Тест dev.ua
Нейронні мережі для генерації зображень бачать світ по-своєму, їхню логіку зрозуміти часом зовсім неможливо. Але таки хочеться. На честь Дня Незалежності України редакція dev.ua вирішила провести невеликий експеримент. Ми задали чотирьом різним нейронним мережам п’ять однакових запитів: «прапор України», «День Незалежності України», «український Крим», «перемога України» та «українці». Отриманими результатами ми ділимося з вами нижче.
У TikTok тепер можна генерувати фон за допомогою нейромережі. Ми протестували її та ділимося результатами
У TikTok тепер можна генерувати фон за допомогою нейромережі. Ми протестували її та ділимося результатами
У TikTok тепер можна генерувати фон за допомогою нейромережі. Ми протестували її та ділимося результатами
У TikTok з’явилася нова функція «Розумний фон». З її допомогою як фон для тіктоків можна підставляти згенеровані нейромережею зображення. Редакція dev.ua протестувала цю технологію і ділиться своїми враженнями.
1 comment

Have important news to share? Message our Telegram bot

Key events and useful links in our Telegram channel

Discussion
No comments yet.