Гучна судова справа проти Meta розкрила безліч внутрішніх документацій компаній. Один документ особливо зацікавив деяких дослідників ШІ: в ньому говорилося про метод покращення ШІ-моделей Llama.
Гучна судова справа проти Meta розкрила безліч внутрішніх документацій компаній. Один документ особливо зацікавив деяких дослідників ШІ: в ньому говорилося про метод покращення ШІ-моделей Llama.
У цих судових матеріалах міститься опис того, як дослідники Meta використовували процес під назвою абляція, щоб визначити, які дані допомогли покращити ШІ-моделі Llama, пише Business Insider.
Абляція — це медична методика, яка цілеспрямовано руйнує тканини, щоб покращити роботу мозку. В ШІ вона передбачає видалення частин системи для вивчення того, як ці компоненти впливають на продуктивність.
В експериментах Meta з абляції компанія замінила частину даних для навчання ШІ піратськими книжками з гігантської бази даних LibGen. Потім компанія перенавчила свою модель Llama, щоб побачити, як це вплине на результат.
Про російську піратську бібліотеку LibGen ми писали раніше. Meta намагалася не допустити розголосу за судовим позовом того факту, що компанія використовувала LibGen для навчання ШІ. Справа стосувалася порушення авторських прав, так звана «Kadrey проти Meta». Крім того, пізніше виявилося, що Meta можливо тренувала свої ШІ-моделі на ще не опублікованих книгах.
В одному експерименті Meta додала до навчальних даних книги про науку і техніку, а також художні книги. У другому експерименті вона додала лише художні книги.
В обох експериментах продуктивність Llama помітно покращилася в галузевих тестах, згідно з внутрішнім документом Meta (ст. 18-19).
Це свідчить про те, що Meta має можливість присвоювати значення конкретним навчальним даним, — каже Нік Вінсент, доцент Школи комп’ютерних наук в Університеті Саймона Фрейзера.
Наприклад, один інженер Meta на LinkedIn згадує про виконання понад 100 абляцій під час розробки Llama 4 і попередніх версій великих моделей ШІ компанії.
Meta не публікує результати цих експериментів, а інші компанії зі штучного інтелекту також тримають цю інформацію в таємниці, сказав Вінсент.
Одна з можливих причин: якщо технологічні гіганти розкажуть світові, які саме навчальні дані допомогли їхнім моделям штучного інтелекту, то творці цієї інформації захочуть, щоб їм заплатили — і вони зможуть підрахувати, скільки грошей їм заборгували.
Оприлюднення результатів експериментів з абляції також може вплинути на серйозні судові процеси щодо авторських прав, які лютують у технологічній індустрії — гарним прикладом є ця справа «Kadrey проти Meta».
У таких випадках технологічні гіганти та стартапи зі створення штучного інтелекту стверджують, що «навчання» машин на основі опублікованих в Інтернеті матеріалів не є порушенням авторських прав. А такі внутрішні документи, що визначають цінність певного контенту, можуть зіграти проти них.
Експерименти Meta з абляції зосереджені на цьому першому етапі навчання, який використовує гори даних, щоб допомогти моделям зрозуміти світ. Наприклад: щоб навчити машину розпізнавати ламу, ви повинні показати їй якомога більше фотографій лам і альпак, щоб вона могла розрізнити цих двох тварин.
Перший експеримент Meta з абляції показав, що додавання наукових, технологічних і художніх книг до навчальних даних покращило продуктивність Llama на 4,5% за галузевим тестом BooIQ. Лише додавання художніх книг призвело до покращення на 6%.
BoolQ — це тест з 15 942 запитань типу «так/ні», на які повинні відповісти моделі ШІ. Чим більше запитань вони відповідатимуть, тим вища продуктивність. Поліпшення на 5% еквівалентно правильній відповіді на майже 800 додаткових запитань.
Згідно з внутрішнім документом Meta, приріст продуктивності від цих експериментів з абляції становив 5,5% за іншим тестом, відомим як SIQA.
Пітер Хендерсон, доцент кафедри інформатики в Прінстоні, опублікував у Twitter кілька діаграм із судового документа, які демонструють ці досягнення.
Lots of internal Llama 2 data mix ablations revealed as part of discovery in the ongoing copyright litigation. Link below. pic.twitter.com/7YeRyYSEWV
— Peter Henderson (@PeterHndrsn) January 15, 2025
Хоча приріст продуктивності приблизно на 5% здається невеликим, у перегонах ШІ будь-яка перевага важлива.
«Насправді це багато, тому що дуже важко отримати кожен додатковий бал у тестах ШІ», — сказав Білл Гросс, генеральний директор ProRata, стартапу, який намагається компенсувати творцям їхній внесок у ШІ.
