«Лыжная маска» Vision Pro от Apple, очки Ray-Ban от Meta, Google Glasses, Echo Frames, очки с подслушкой от Amazon. Зачем человечеству столько умных гаджетов такого типа, когда их функционал кажется совсем ограниченным?
«Лыжная маска» Vision Pro от Apple, очки Ray-Ban от Meta, Google Glasses, Echo Frames, очки с подслушкой от Amazon. Зачем человечеству столько умных гаджетов такого типа, когда их функционал кажется совсем ограниченным?
Свежая панельная дискуссия на Всемирном экономическом форуме в Давосе наконец-то пролила немного света на этот вопрос: искусственному интеллекту нужно тренироваться и расстаться дальше. Он уже все прогуглил в интернете и хочет получить больше информации из реального мира, из наших жизней.
Очки — идеальный инструмент для того, чтобы дать общему искусственному интеллекту (Artificial general intelligence) больше данных, чтобы учиться, тренироваться экспериментировать.
Панель собрала выдающихся ученых в области ИИ со всех уголков мира. И вот что они обсуждали: мы выбрали для вас самое важное.
Вопрос ведущего: Какова будет скорость изменений ИИ в последующие годы? Будут ли безумные инновации, которые мы имели последние два года? Мы будем продолжать двигаться быстрее закона Мура? Или мы приближаемся к какому-нибудь плато?
Кай-фу Ли, тайваньский бизнесмен, ученый, инвестор, экскеровщик в Apple, Google, Microsoft настроен оптимистично и думает что мы точно не достигли уровня плато.
«Я думаю, что он (ШИ) немного замедлится. Но я думаю, что все равно будет идти с невероятной быстротой. Посмотрите только за последние два года, насколько возросло качество этих моделей.
Вы знаете, два года назад MMLU (Massive Multitask Language Understanding — это тест, предназначенный для измерения знаний, полученных во время обучения — Ред), что примерно является показателем интеллекта, показав, что мы в 40-50-х годах. Сейчас 90. И есть еще куда расти».
Эндрю Ян-Так Нг — британско-американский компьютерный ученый и предприниматель, руководитель Google Brain, экс-главный научный сотрудник Baidu:
«Масштабировать становится все труднее и труднее. Но я чувствую, что для большинства из нас темп все еще ускоряется из-за количества инноваций и алгоритмических оценок.
Вот несколько кратких примеров. Мы видели, как текстовая революция произошла в прошлом году. Я думаю, что в этом году мы увидим революцию в обработке изображений. Вроде бы уже здесь с GPT-4V и Gemini Ultra. Но на самом деле компьютеры будут видеть гораздо лучше.
Я вижу много инноваций в автономных агентах. Вместо того чтобы промчить LLM (а она дает вам ответ), вы можете дать LLM инструкцию, она выключится и выполнит за вас работу в течение получаса, будет просматривать веб-страницы, проведет много исследований и вернется. Сейчас это не совсем работает, но многие работают над этим, чтобы сделать еще одно нововведение.
Edge AI (это внедрение искусственного интеллекта в периферийную вычислительную среду, позволяющую производить вычисления вблизи того места, где фактически собираются данные, а не в централизованном облачном вычислительном объекте — датацентре).
Знаете, мы привыкли запускать LLM в облаке, но из-за опенсорса и других вещей… Я думаю, что в будущем мы будем запускать гораздо больше больших языковых моделей на наших собственных устройствах»
Эйдан Гомес, британско-канадский ученый-информатик, работающий в области искусственного интеллекта, СЕО компании Cohere:
«Я соглашаюсь, что ИИ будет развиваться в той же траектории, и я бы даже пошел дальше, чтобы сказать, что он станет ускоряться.
В том, что у нас есть сегодня, есть огромные узкие места. Мы знаем ограничения архитектуры, используемых методов. И я думаю, что нам станет легче. Потому что аппаратные платформы становятся все лучше.
Следовательно, следующее поколение графических процессоров станет большим шагом по сравнению с нынешним поколением, и это открывает новый масштаб, гораздо более дорогие алгоритмы и методы для работы с ними».
Ведущий: Так что чем лучше графические процессоры, чем больше вычислительных ресурсов, электроэнергии, тем лучше модели. Тогда означает ли это, что вычислительные мощности под ИИ консолидируются в небольшом количестве компаний, имеющих к ней доступ?
Дафна Коллер, израильско-американский ученый-информатик, профессор Стэнфордского университета:
«Вы упомянули вычисления, вы упомянули электроэнергию, вы не упомянули данные. И я думаю, что мы только начинаем царапать поверхность данных, которые со временем станут доступны для моделей.
То, как мы сейчас тренируемся на всех данных веба, это удивительно, и это невероятно. Но эти агенты еще не воплощены во всю. Ибо они еще не взаимодействуют с миром.
По миру того, как мы начинаем носить вещи с дополненной реальностью, как мы начинаем получать больше данных от беспилотных автомобилей, у ИИ появится гораздо больше работы.
Поэтому я думаю, что если мы начнем обрабатывать различные массивы данных, такие как биология и здравоохранение, и другие виды данных, которые сейчас скрыты, эти модели разовьют новые уровни возможностей, которых у них сейчас нет».
Янн ЛеКун, французский ученый-компьютерщик, лауреат премии Тюринга, вице-президент, главный научный сотрудник Meta:
«Действительно, у нас заканчиваются данные. Мы фактически используем все публичные данные в Интернете.
А теперь подумайте о том, что ребенок видит с помощью зрения, и попытайтесь определить количество информации, которое четырехлетний ребенок увидел в течение своей жизни.
Это примерно 20 мегабайт данных в секунду, проходящих через зрительный нерв в течение 16 000 часов бодрствования в течение первых четырех лет жизни.
Итак, это говорит вам о том, что четырехлетний ребенок увидел в 50 раз больше информации, чем самые большие LLM, которые у нас есть.
И четырехлетний ребенок намного умнее самых больших LLM, которые у нас есть. Объем накопленных знаний, пожалуй, меньше, потому что они в другой форме. Но на самом деле четырехлетний ребенок усвоил огромное количество информации. И это потому, что она получила много знаний о том, как устроен мир.
И мы можем сделать это из LLM уже сегодня. Нам не хватает некоторых существенных новых научных архитектур, чтобы получить все преимущества от сенсорного ввода данных, которыми смогут воспользоваться будущие системы ИИ.
Для этого потребуются несколько научно-технических прорывов, которые могут произойти в ближайшие год, три, пять лет, десять лет. Мы не знаем. Это трудно.
16 000 часов видео, о которых я вам рассказывал, — это всего 30 минут всех загрузок на YouTube. Я имею в виду, что у нас гораздо больше данных, чем те, с которыми мы можем иметь дело. Вопрос состоит в том, как мы заставим машины учиться с видео?
Большие речевые модели учатся одним способом. Вы берете фрагмент текста, искажаете его, а затем тренируете какую-то гигантскую нейронную сеть реконструировать полный текст, предусмотреть недостающие слова. LLM, например, ChagVT, LAMA и другие, вы учите, просто удалив последнее слово.
Технически это происходит сложнее, но в основном это то, что они делают.
Итак, вы научите систему восстанавливать недостающую информацию. Так что, конечно, очевидна идея: почему бы нам не сделать то же самое и с изображениями?
Возьмите изображение, повредите его, удалив некоторые части, а затем научите обширную нейронную сеть восстанавливать изображение. Но это не работает. Или не очень хорошо работает.
Есть целая куча усилий в этом направлении, которые продолжаются некоторое время, но такая система действительно не очень хорошо работает. Это тоже не работает и для видео».
То есть, если мы покажем системе часть видео, где ручка начинает падать из руки в руку, то сейчас машина не может предсказать, что ручка упадет?
Янн ЛеКун: «Машина не может. У вашей ручки есть определенная конфигурация. Когда вы уроните ее, она будет следовать определенной траектории. Большинство из нас не может точно предсказать траекторию. Но мы можем предположить, что объект рухнет. Детям нужно около девяти месяцев, чтобы понять, что неподдерживаемый предмет падает. Интуитивно понятная физика. Как это сделать с машинами?
Потенциального решения этого вопроса — настоящего решения — еще нет. Но вещи, которые наиболее перспективны на данный момент. По крайней мере, вещи, которые работают для распознавания изображений. И я вас удивлю, они не являются генеративными.
Потому что-то, что работает лучше, де-факто не создает изображений. Эти системы не реконструируют их. Они предполагают, но в пространстве абстрактной репрезентации.
Так же как я не могу точно предсказать, как ручка упадет в вашу руку, но могу предположить, что она упадет.
Так что на каком-то абстрактном уровне ручка, которая находится здесь или там, без деталей ее конфигурации, я могу сделать такой прогноз, что она упадет.
Поэтому я могу делать прогнозы в пространстве отвлеченного представления в отличие от пространства пикселей. И вот почему: все прогнозы в пиксельном пространстве пока провалились. Это просто слишком сложно».
Дафна Коллер: Это больше, чем просто видео. Я думаю, что еще одна вещь, которую дети изучают, это понятие причины и следствия. Об этом они узнают, вмешиваясь в мир и наблюдая, что происходит. И мы еще не сделали этого вообще из LLM.
Я имею в виду, что они полностью предполагаемые механизмы. Они просто создают ассоциацию. Добраться до причинности — это огромная возможность, которой не хватает в современных моделях. Этого не хватает в способности наших компьютеров обосновывать здравый смысл.
Этого не хватает ИИ, когда мы пытаемся перейти к другим задачам, будь то производство, биология или что угодно, что взаимодействует с физическим миром».
Эйдан Гомес: Это должны быть не просто синтетические данные и взаимодействие систем ИИ между собой в изоляции. Для проведения экспериментов им нужен доступ к реальному миру и опыт, чтобы сформировать гипотезу, проверить гипотезу, потерпеть неудачу тысячу раз. И однажды удастся, как люди, открыть новое».
Дафна Коллер: «У нас нет возможности на данный момент создать модель мира in silico (сделано с помощью компьютера или с помощью компьютерной симуляции — Ред.). Мир действительно сложен.
И способность, которую мы имеем, чтобы экспериментировать с миром, видеть, что происходит, и учиться на этом, я считаю, абсолютно критическая для того, что делает человеческий интеллект таким, какой он есть.
Итак, если мы хотим, чтобы эти машины развивались, нам нужно дать им возможность, не просто чтобы in silico разговаривать друг с другом в собственной маленькой вселенной, а чтобы по-настоящему экспериментировать с миром и генерировать такие данные, которые помогают им продолжать расти. развиваться.
И я думаю, что наибольшим отличием по мере того, как мы двигаемся вперед, является предоставление компьютерам доступа к планированию экспериментов. Будь то простые эксперименты, вроде того, что происходит, когда вы отпускаете ручку и она падает. Или более сложный эксперимент: что происходит, когда я помещаю эти пять химических веществ в клетку с человеком.
Вот такие эксперименты научат компьютер. Поэтому нам нужно рассказать компьютеру об этой невероятной сложности мира и позволить ему действительно выйти за пределы того, чему человек может сейчас научить его, если бы мы вроде бы дали ему для обучения живого эксперта по математике или биологии».
