Розробник із Бангладешу зламав Neural Engine у чипі Apple M4. Завдяки реверс-інжинірингу він розблокував 15,8 TFLOPS прихованої потужності для навчання ШІ. Йому вдалося обійти програмні обмеження Apple за допомогою власної Model Intermediate Language, побудованої в обхід офіційних інструментів CoreML та Metal.
Розробник із Бангладешу зламав Neural Engine у чипі Apple M4. Завдяки реверс-інжинірингу він розблокував 15,8 TFLOPS прихованої потужності для навчання ШІ. Йому вдалося обійти програмні обмеження Apple за допомогою власної Model Intermediate Language, побудованої в обхід офіційних інструментів CoreML та Metal.
Процесори Apple M4 мають величезну обчислювальну потужність для роботи зі штучним інтелектом, проте історично компанія тримає це апаратне забезпечення суворо обмеженим. За замовчуванням нейронний процесор (Neural Engine) всередині M4 повністю обмежений лише завданнями інференсу (виведення/виконання моделей). Це означає, що розробники можуть використовувати його лише для запуску вже попередньо навчених ШІ-моделей, а не для повноцінного навчання нових із нуля.
Проте розробник зумів обійти ці суворі програмні обмеження, провівши повний реверс-инжиніринг чипа, щоб розблокувати 15,8 TFLOPS прихованої обчислювальної потужності для ШІ. Цей прорив здійснив дослідник Мд Ісмаїл Соджал, який нещодавно опублікував код на GitHub з детальним описом того, як саме йому вдалося задіяти справжній потенціал M4. Особливо вражає те, що цей результат був досягнутий повністю поза межами офіційної екосистеми розробки Apple, пише Notebookcheck.
Оскільки Apple не надає необхідних рівнів доступу для прямої взаємодії з Neural Engine під час виконання таких складних завдань, розробнику довелося шукати спосіб обійтися без стандартних інструментів типу CoreML, Metal або навіть використання графічного процесора. Щоб реалізувати це, він із нуля створив власну проміжну мову моделей. Це кастомне програмне забезпечення успішно заповнило прогалину в інструментарії, дозволивши реалізувати повноцінне зворотне поширення помилки та навчання трансформерів безпосередньо на Apple Neural Engine.
Оскільки апаратне забезпечення за замовчуванням жорстко обмежене, розробнику також довелося застосувати кілька дуже винахідливих обхідних шляхів для підтримки стабільності системи. Наприклад, якщо процес зависає під час інтенсивної фази навчання, кастомна мова використовує спеціальну команду execute, щоб фактично перезапустити (respawn) цей процес. Це дає змогу системі оновити свій поточний стан і продовжити машинне навчання з того ж місця без збою всієї програми.
Швидкість також була вирішальним фактором для ефективного виконання такого важкого навантаження. Щоб забезпечити максимально плавний процес навчання, розробник налаштував процес так, щоб усі дані записувалися виключно в оперативну пам’ять. Завдяки повному уникненню значно повільнішої флешпам’яті NAND, уся операція залишалася неймовірно швидкою. Для кожного, хто використовує Mac або iPad на базі M4, цей захопливий обхідний шлях доводить, що саме залізо більш ніж здатне справлятися зі складними завданнями з навчання ШІ, навіть якщо Apple офіційно воліє тримати ці конкретні можливості заблокованими.
