Головний науковець зі штучного інтелекту в Meta Ян Лекун розповів чотири основні характеристики розумної поведінки, яких не вдалося досягти навіть великим мовним моделям.
Головний науковець зі штучного інтелекту в Meta Ян Лекун розповів чотири основні характеристики розумної поведінки, яких не вдалося досягти навіть великим мовним моделям.
За словами Лекуна, це: розуміння фізичного світу, наявність стійкої пам’яті, здатність міркувати та здатність планувати, причому «планувати складні дії, особливо ієрархічно». Про це пише Business Insider.
Ян Лекун відзначає, що ШІ, особливо великі мовні моделі, ще не досягли такого рівня, і включення цих можливостей вимагатиме змін у способах їхнього навчання. Саме тому багато найбільших технологічних компаній намагаються впровадити нові можливості в наявні моделі.
«Для розуміння фізичного світу ви тренуєте окрему систему зору. А потім прикручуєте її до LLM. Для пам’яті ви використовуєте RAG, або прикручуєте до неї асоціативну пам’ять, або просто робите модель більшою», — сказав він. RAG (retrieval augmented generation) — це спосіб покращення результатів великих мовних моделей за допомогою зовнішніх джерел знань, який створили в Meta.
Лекун неодноразово говорив про альтернативу, яку він називає світовими моделями. Це моделі, які навчаються на реальних життєвих сценаріях і мають вищий рівень пізнання, ніж ШІ на основі шаблонів.
«Ви маєте певне уявлення про стан світу в певний момент часу, ви уявляєте, яку дію він може здійснити, модель світу прогнозує, яким буде стан світу в результаті цієї дії», — говорить науковець.
Він пояснив, що світ розвивається відповідно до нескінченного і непередбачуваного набору можливостей, і єдиний спосіб тренуватися для них — це абстрагування. Meta вже експериментує з цим за допомогою V-JEPA, моделі, яку він випустив для громадськості в лютому. Мета описує її як негенеративну модель, яка навчається, передбачаючи відсутні або замасковані частини відео.
«Основна ідея полягає в тому, що ви не прогнозуєте на рівні пікселів. Ви навчаєте систему запускати абстрактне представлення відео, щоб ви могли робити прогнози в цьому абстрактному представленні, і сподіваємося, що це представлення усуне всі деталі, які неможливо передбачити», — розповів Ян Лекун.
За його словами, це нагадує те, як хіміки встановили фундаментальну ієрархію будівельних блоків матерії.
«Ми створили абстракції. Частинки, на вершині — атоми, на вершині — молекули, на вершині — матеріали. Кожного разу, коли ми піднімаємося на один шар, ми усуваємо багато інформації про шари нижче, яка не має відношення до типу завдання, яке ми хочемо вирішити, — пояснив головний науковець зі штучного інтелекту в Meta.
Нещодавно він виступив проти «законів масштабування», згідно з якими вважається, чим більші моделі ШІ, тим вони будуть продуктивнішими та розумнішими. А у 2023 році Лекун заявив, що штучний інтелект навряд чи знищить людство, бо нинішні моделі ШІ не розумніші за котів.
