Дослідники Єльського університету виявили, що всередині нейромереж формуються структури, які допомагають розрізняти ролі слів і зв’язки між ними. Науковцям навіть вдалося змусити ШІ по-іншому трактувати те саме речення, не змінюючи жодного слова.
Дослідники Єльського університету виявили, що всередині нейромереж формуються структури, які допомагають розрізняти ролі слів і зв’язки між ними. Науковцям навіть вдалося змусити ШІ по-іншому трактувати те саме речення, не змінюючи жодного слова.
Про це повідомляє TechXplore з посиланням на дослідження, опубліковане на arXiv.
Мовні моделі розбивають текст на токени — окремі слова, частини слів або інші фрагменти тексту. Кожен токен отримує числовий ідентифікатор, який потім перетворюється на вектор — набір чисел, із яким працює нейромережа.
Під час обробки тексту модель багаторазово змінює ці вектори, враховуючи порядок токенів і контекст. Так модель прогнозує наступні токени та поступово генерує відповідь. Утім, дослідники досі не повністю розуміють, як саме в цих числових даних закодовані зв’язки між словами або математичні та логічні структури, які модель використовує для виконання складних завдань.
Команда під керівництвом лінгвіста Тома Маккоя вирішила розібратися, як нейромережі зберігають такі зв’язки.
Наприклад, науковці взяли речення «Розумний лікар допоміг адвокату» та змінили внутрішні числові дані моделі так, щоб прикметник «розумний» стосувався вже не лікаря, а адвоката. Після цього ШІ поводився так, ніби прочитав «Лікар допоміг розумному адвокату», хоча початковий текст не змінився.
Із математикою вдалося зробити щось подібне. Модель GPT-OSS отримала промпт із рівнянням 3 + 6 × 8, відповідь на яке— 51. Дослідники змінили внутрішні дані так, ніби числа 3 і 6 помінялися місцями. ШІ показав 30 — правильний результат для 6 + 3 × 8.
Ці дослідження показали, що за допомогою можна передбачувано змінювати його відповіді. У майбутньому це може допомогти з’ясовувати причини помилок нейромереж і краще контролювати їхню роботу
У перспективі такий підхід може допомогти з’ясовувати, чому ШІ припускається тих чи інших. Тому дослідники зможуть перевіряти, які саме зв’язки всередині нейромережі призвели до помилки. А розуміння причин помилок може стати першим кроком до того, щоб навчитися їх виправляти.
Раніше dev.ua писав, що дослідники Anthropic виявили всередині Claude закономірності, пов’язані з емоційними поняттями на кшталт страху, радості та відчаю. Вони з’ясували, що ці внутрішні сигнали можуть впливати на поведінку моделі: зокрема, посилення одних підвищувало схильність Claude до шантажу та обхідних рішень у коді, а інших — зменшувало її.
