Весной 2017 года вышла научная статья под названием «Внимание — это все, что вам нужно», написанное восемью (ныне бывшими) исследователями из компании Google. Среди авторов труда, которая через 7 лет уже приобрела статус культовой в ИИ-индустрии, был и выходец из Украины.
Весной 2017 года вышла научная статья под названием «Внимание — это все, что вам нужно», написанное восемью (ныне бывшими) исследователями из компании Google. Среди авторов труда, которая через 7 лет уже приобрела статус культовой в ИИ-индустрии, был и выходец из Украины.
Ноам Шазир, имеющий самый большой стаж работы в компании, был очень удивлен, увидев раннюю версию статьи, где его имя стояло первым в списке авторов, что указывало на то, что его вклад был самым большим. Об этом говорится в обширном материале Wired, рассказывающем обо всех исследователях этого известного труда.
Поскольку авторы тогда спешили закончить свою работу, они решили «саботировать» условные правила ранжирования авторов. Они добавили звездочку к каждому имени и сноске «Раноправный участник. Порядок в списке случайный».
Авторы прислали статью на престижную конференцию по искусственному интеллекту незадолго до дедлайна и начали революцию. Приближаясь к своей седьмой годовщине, статья «Внимание…» приобрела легендарный статус. Ее авторы начали с описания процветающей и совершенствующейся технологии — разновидности искусственного интеллекта, называемого нейронными сетями, но и превратили ее в несколько иное: цифровую систему, настолько мощную, что ее исходные данные могут казаться продуктом инопланетного интеллекта.
Эта архитектура, получившая название «трансформеры», является не таким уж секретным соусом, который лежит в основе всех этих потрясающих продуктов искусственного интеллекта, включая ChatGPT и генераторы изображений, такие как Dall-E и Midjourney.
Сейчас Шазир шутит, что если бы он знал, насколько известна эта статья, то «возможно, больше беспокоился бы о порядке авторов». Все восемь авторов теперь микрознаменитости. «Люди просят меня сделать селфи, потому что я на бумаге!» — говорит Лев Джонс, который (случайно, конечно) был пятым в списке.
«Без трансформеров я не думаю, что мы были бы сейчас здесь», — говорит Джеффри Хинтон, не являющийся одним из авторов, но, пожалуй, самый выдающийся в мире ученый в области искусственного интеллекта.
С тех пор все восемь авторов покинули Google. Как и многие другие, они сейчас так или иначе работают с системами, работающими на основе того, что они создали в 2017 году.
Однажды в 2016 году исследователь Джейкоб Ушкорайт обедал в кафе Google с ученым Ильей Полосухиным, который родился в Украине и работал в Google уже три года. Он был назначен команде, которая давала ответы на прямые вопросы, поставленные в поле поиска.
Дела шли не очень хорошо. «Чтобы ответить на что-нибудь на Google.com, вам нужно что-то очень дешевое и высокопроизводительное. Потому что у вас есть миллисекунды», чтобы ответить», — сказал Полосухин. Когда он озвучил свои замечания, Ушкорайт без труда нашел решение.
«Он предложил, почему не использовать самосознание (self-awareness)?», — рассказал Полосухин. Иногда Полосухин сотрудничал с коллегой по имени Ашиш Васвани. Он родился в Индии и вырос преимущественно на Ближнем Востоке, учился в Университете Южной Калифорнии, чтобы получить докторскую степень в элитной группе машинного перевода этого учебного заведения.
Впоследствии он переехал в Маунтин-Вью, чтобы присоединиться к Google, а именно новой организации под названием Google Brain. Он описывает Brain как «радикальную группу», верившую, что «нейронные сети будут способствовать развитию человеческого понимания». Но он все еще искал большой проект, над которым он мог бы работать. Его команда работала в здании 1965 года по соседству с лингвистической командой Полосухина в здании 1945 года, и он слышал об идее самосознания. Он решил, что это и есть тот самый крупный проект и присоединился к команде.
Вместе три исследователя разработали проектный документ под названием «Трансформеры: Итеративное самосознание и обработка для различных задач». Они выбрали название «трансформеры» практически сразу, рассказал Ушкорайт. Идея заключалась в том, что этот механизм будет трансформировать информацию, которую он получает, позволяя системе извлекать столько понимания, сколько человек может или по крайней мере создавать иллюзию этого.
В начале 2017 года Полосухин оставил Google, чтобы основать собственную компанию Near, которая создала блокчейн с токенами, чья рыночная капитализация составляет около $4 млрд.
