Дослідники Массачусетського технологічного інституту (MIT) продемонстрували, як GPT-6 Astra може знаходити помилки в інших нейромережах і виправляти їх, безпосередньо змінюючи їхні параметри замість того, щоб додатково навчати ці моделі.
Дослідники Массачусетського технологічного інституту (MIT) продемонстрували, як GPT-6 Astra може знаходити помилки в інших нейромережах і виправляти їх, безпосередньо змінюючи їхні параметри замість того, щоб додатково навчати ці моделі.
Про це розповіли дослідники Массачусетського технологічного інституту (MIT).
Зазвичай, щоб покращити роботу нейромережі, її додатково навчають на даних. Але ці дослідники вирішили перевірити, чи може інший ШІ розібратися, що відбувається всередині моделі, і самостійно змінити її параметри. Ці параметри називають вагами. Це велика кількість чисел, які визначають, як нейромережа обробляє інформацію та формує відповіді.
Найцікавіший результат дослідники отримали з Qwen3.5-0.8B — невеликою мовною моделлю, що має приблизно 800 млн параметрів. Модель мала проблему: під час розв’язування математичних задач вона часто зациклювалася, повторювала одні й ті самі міркування та не доходила до відповіді.
Astra проаналізувала її параметри, знайшла пов’язаний із зацикленням механізм і змінила лише 131 072 ваги, тобто 0,016% від їхньої загальної кількості. Після цього результат Qwen у тесті MATH-500 зріс із 7,9% до 48,1%. А в іншому математичному тесті, GSM8K, показник піднявся з 13,8% до 67,1%. До того ж, здатність моделі виконувати інструкції користувачів також помітно покращилася.
Ще дослідники навчили чотири окремі нейромережі грати в Breakout, Pong, Pac-Man і Freeway — по одній мережі на кожну відеогру. Потім показали Astra числові параметри кожної з них і попросили вгадати, для якої гри її створили. Не запускаючи нейромережі й не бачачи самого ігрового процесу, Astra правильно визначила всі чотири відеогри лише за їхніми числовими параметрами
А ще Astra змогла самостійно створити три невеликі нейромережі, кожна з яких могла грати в одну з цих відеоігор. Для цього їй дали опис того, як працюють ігри, та їхній програмний код. На цій основі Astra сама створила параметри нових нейромереж навіть без навчання.
Дослідники назвали такий підхід Weight-Space Programming — програмуванням безпосередньо через ваги нейромереж. Вони припускають, що в майбутньому замість тривалого перенавчання нейромереж ШІ просто зможе знаходити потрібні частини іншої моделі та змінювати їх, щоб виправляти помилки або коригувати її поведінку.
У перспективі це могло б значно здешевити вдосконалення нейромереж, допомогти шукати приховані вразливості та навіть дозволити моделям покращувати одна одну.
Але до того, щоб один ШІ міг довільно переписати й покращити будь-який інший, ще далеко. Наприклад, Astra не вдалося суттєво покращити математичні здібності моделі Gemma 3 270M, яка, на відміну від Qwen, майже не зациклювалася, а просто припускалася помилок у розрахунках і міркуваннях. Дослідники зрозуміли, що такі проблеми значно складніше усунути простим редагуванням параметрів нейромережі.
Попри це, вони вважають, що можливість безпосередньо читати та редагувати параметри інших моделей може змінити підхід до розробки штучного інтелекту.
Раніше dev.ua писав, що дослідники Єльського університету змогли змінити те, як ШІ розуміє речення, не змінюючи самого тексту.
