Головний науковець зі штучного інтелекту в Meta Ян Лекун виступає проти «законів масштабування», згідно з якими вважається, чим більші моделі ШІ, тим вони будуть продуктивнішими та розумнішими.
Головний науковець зі штучного інтелекту в Meta Ян Лекун виступає проти «законів масштабування», згідно з якими вважається, чим більші моделі ШІ, тим вони будуть продуктивнішими та розумнішими.
Роками індустрія ШІ дотримувалася набору принципів, відомих як «закони масштабування». Дослідники OpenAI виклали їх у фундаментальній статті 2020 року «Закони масштабування для моделей нейронної мови», пише Business Insider.
«Продуктивність моделі найбільше залежить від масштабу, який складається з трьох факторів: кількості параметрів моделі N ((без урахування вбудовування), розміру набору даних D і обсягу обчислень C, що використовуються для навчання», — говорилося у статті.
Тобто, чим більше — тим краще, коли йдеться про створення високоінтелектуального штучного інтелекту. Ця ідея стимулювала величезні інвестиції в центри обробки даних, які дозволяють моделям ШІ обробляти величезні обсяги наявної інформації та навчатися на них.
«Найцікавіші проблеми масштабуються вкрай погано. Не можна просто припустити, що більше даних і більше обчислень означає розумніший ШІ», — заявив Ян Лекун під час виступу в Національному університеті Сінгапуру.
Теза Лекуна ґрунтується на тому, що навчання ШІ на великій кількості базових предметних даних, таких як дані з Інтернету, не призведе до появи якогось суперінтелекту. Розумний ШІ — це інша категорія.
«Помилка полягає в тому, що люди вважають, що дуже прості моделі для вирішення простих завдань, будуть працювати і для складних задач. Вони роблять дивовижні речі, але це створює релігію масштабування, що вам просто потрібно більше масштабувати системи, і вони природним чином стануть більш розумними».
Наразі вплив масштабування посилюється, оскільки багато останніх проривів у галузі ШІ насправді «дуже прості», — сказав Лекун. За його словами, найбільші великі мовні моделі сьогодні навчаються приблизно на обсязі інформації, що міститься в зоровій корі чотирирічної дитини.
«Коли ви маєте справу з реальними проблемами з двозначністю і невизначеністю, справа вже не лише в масштабуванні», — додав він.
Прогрес у сфері штучного інтелекту останнім часом сповільнюється. Частково це пов’язано зі зменшенням обсягу корисних публічних даних.
ЛеКун — не єдиний відомий дослідник, який ставить під сумнів силу масштабування. Генеральний директор Scale AI Александр Ван заявив, що масштабування — це «найбільше питання в галузі» на конференції Cerebral Valley минулого року. Генеральний директор Cohere Айдан Гомес назвав це «найдурнішим» способом покращення моделей штучного інтелекту.
ЛеКун виступає за більш орієнтований на світ підхід до навчання.
«Нам потрібні системи штучного інтелекту, які можуть дуже швидко навчатися новим завданням. Вони повинні розуміти фізичний світ — не тільки текст і мову, але й реальний світ, мати певний рівень здорового глузду, здатність міркувати і планувати, мати стійку пам’ять — все те, що ми очікуємо від розумних істот», — сказав він під час свого виступу.
Раніше dev.ua розповідав про дослідження групи науковців із кількох університетів США, яке показало, що надмірне навчання великих мовних моделей може негативно впливати на їхню продуктивність.
