Відомий у спільноті Minecraft ентузіаст і розробник Sammyuri представив на GitHub проєкт під назвою CraftGPT. Невелика мовна модель, яка працює на комп’ютері всередині Minecraft, навчена на датасеті TinyChat. Проєкт складається з 1020×260×1656 блоків (загалом 439 млн) і працює як треба, але є один значний мінус: на відповідь доведеться чекати кілька годин.
Відомий у спільноті Minecraft ентузіаст і розробник Sammyuri представив на GitHub проєкт під назвою CraftGPT. Невелика мовна модель, яка працює на комп’ютері всередині Minecraft, навчена на датасеті TinyChat. Проєкт складається з 1020×260×1656 блоків (загалом 439 млн) і працює як треба, але є один значний мінус: на відповідь доведеться чекати кілька годин.
Для запуску CraftGPT ентузіаст збудував у грі гігантський комп’ютер. Sammyuri у відео пояснив, що для зйомки обльоту знадобився мод Distant Horizons, завдяки якому стало можливим захопити в кадр усю масштабну конструкцію, пише Tom’s Hardware.
Звісно, навіть із таким дивовижним проєктом на Redstone, CraftGPT не замінить традиційних способів запуску LLM на вашому комп’ютері. Sammyuri просить користувачів і тестувальників стримати свої очікування. «Модель дуже схильна відхилятися від теми, видавати граматично некоректні відповіді або просто генерувати нісенітницю», — визнає розробник проєкту.
Redstone надає електронні компоненти в середовищі Minecraft. Відео показує, як пристрій CraftGPT збирається всередині гри, компонент за компонентом. Він має токенайзери, матричні помножувачі тощо. Sammyuri пояснює, що невелика мовна модель була створена без використання командних блоків або пакетів даних у Minecraft. Крім того, «модель має 5 087 280 параметрів і була навчена на датасеті простих англійських розмов TinyChat за допомогою Python», — каже розробник.
За словами Sammyuri, CraftGPT, яка налічує 5 мільйонів параметрів, «має розмірність ембедингу 240, словник на 1920 токенів і складається із 6 шарів. Розмір її вікна контексту — 64 токени, чого вистачає для (дуже) коротких розмов». Розробник також зазначає, що «більшість ваг моделі були квантовані до 8 біт, але ваги ембедингу та LayerNorm зберігаються на 18 і 24 біт відповідно».
Процесор або комп’ютер, збудований із Redstone в Minecraft, може бути сучасним дивом, але він значно поступається реальному обладнанню. Через це робота чату CraftGPT сильно уповільнена часом очікування на відповідь. За словами Sammyuri, система зазвичай потребує близько двох годин, щоб відповісти на простий запит. І це навіть з урахуванням того, що швидкість тікрейту була збільшена в 40 000 разів за допомогою MCHPRS.
