Український розробник "запхав" мовну модель у мікроконтролер за $10. Як це вийшло, і що вона вміє?

Український розробник slvDev запустив мовну модель із майже 29-ма млн параметрів на мікроконтролері ESP32-S3, повідомляє Highload. Плата коштує менше ніж $10, а модель генерує текст повністю локально — без підключення до серверів чи хмарних сервісів. 

Проєкт отримав назву ESP32-AI. За даними розробника, модель генерує близько 9,88 токена за секунду та виводить текст на невеликий екран, під'єднаний до плати.  На відео можемо побачити, як модель створює невелику історію про дівчинку Лілі.  «Так! Вона працює! Вона жива! Це неймовірно!» — вигукує її розробник.

ESP32-S3 має лише 512 кілобайтів швидкої оперативної пам’яті. Цього замало, щоб запустити модель із такою великою кількістю параметрів.  Тому розробник стиснув модель до 4-бітного формату, зменшуючи її вагу до всього 15-ти мегабайтів.  До того ж, не вся модель використовує оперативну пам’ять. Більшість її параметрів зберігаються у флешпам’яті, тож під час генерації модель може просто підвантажувати звідти невеличкі фрагменти, потрібні для наступного токена.

Модель створена на наборі даних TinyStories, тож вона вміє створювати невеликі історії.  Тому вона не може відповісти на запитання чи виконати інші інструкції.  Проте розробник стверджує, що найцікавішим у цьому експерименті є те, що цю велику модель вдалося розмістити на крихітному чіпі, а не в тому, на що ця модель здатна.

Також розробник створив іншу схожу модель. Вона називається Barista і може відповідати на запитання про приготування еспресо. slvDev поділився відео, де розповідає моделі, що його еспресо має підгорілий смак. Barista робить висновок, що найімовірніше, це через переекстракцію. Можливо, кава довга контактувала з гарячою водою, або є занадто дрібно змеленою. А потім модель питає про дозування, вагу готової кави та час екстракції. 

slvDev також опублікував на Github код прошивки, інструменти для навчання моделі та інструкції, за допомогою яких експеримент можна відтворити самостійно. 

Відкрита українська мовна модель Lapa LLM отримала публічний реліз

По темi

Відкрита українська мовна модель Lapa LLM отримала публічний реліз

Українську мовну модель «Сяйво» почали тестувати в закритому режимі

По темi

Українську мовну модель «Сяйво» почали тестувати в закритому режимі

Читайте головні IT-новини країни в нашому Telegram

По темi

Читайте головні IT-новини країни в нашому Telegram