Вихідний код нейромережі, яка трансформувала сферу штучного інтелекту у 2012 році, виклали в загальний доступ на GitHub. Згадаймо історію AlexNet, серед творців якої українець

Нейромережа AlexNet стала переломним моментом у розвитку штучного інтелекту, оскільки вона могла ідентифікувати об'єкти на фотографіях з небаченою у той час точністю — правильно класифікуючи зображення в одну з 1000 категорій, таких як «полуниця», «шкільний автобус» або «золотистий ретривер», зі значно меншою кількістю помилок, ніж попередні системи, пише Ars Technica.

Вивчення коду AlexNet може дати уявлення про те, як відносно проста реалізація спричинила появу технології, що змінила наш світ. 

Історія AlexNet 

AlexNet розробили аспіранти Університету Торонто Алекс Крижевський та Ілля Суцкевер разом зі своїм науковим керівником Джеффрі Хінтоном. Проєкт довів, що глибоке навчання може перевершити традиційні методи комп’ютерного зору.

Нейромережа виграла конкурс ImageNet 2012 року. Тоді ветеран комп’ютерного зору Ян ЛеКун одразу ж визнав її важливість і назвав AlexNet «однозначним поворотним моментом в історії комп’ютерного зору». Нейромережа поєднала три критично важливі технології, які визначатимуть сучасний ШІ.

Музей розпочав спроби отримати історично важливий код у 2020 році, коли Хансен Хсу (куратор CHM) звернувся до Крижевського з проханням випустити вихідний код через його історичну важливість. Оскільки Google придбав компанію команди DNNresearch у 2013 році, права на інтелектуальну власність належали їй.

CHM працював з Google протягом п’яти років, щоб домовитися про публікацію і ретельно визначити, яка саме версія представляє оригінальну реалізацію 2012 року — важлива відмінність, оскільки багато відтворень, позначених як «AlexNet», існують в інтернеті, але не є автентичним кодом, що використовувався під час прориву.

Як працювала AlexNet

Проривом AlexNet стала не якась окрема революційна техніка, а радше елегантне поєднання наявних технологій, які раніше розвивалися окремо.

Проєкт поєднав три раніше окремі компоненти: глибокі нейронні мережі, масивні набори даних зображень і графічні процесори (GPU). Глибокі нейронні мережі сформували основну архітектуру AlexNet з кількома рівнями, які могли вивчати дедалі складніші візуальні функції. Мережа була названа на честь Крижевського, який впровадив систему та провів великий навчальний процес.

На відміну від традиційних систем штучного інтелекту, які вимагали від програмістів вручну вказувати, які функції шукати в зображеннях, ці глибокі мережі могли автоматично виявляти шаблони на різних рівнях абстракції — від простих країв і текстур на ранніх шарах до частин складних об’єктів на глибших шарах. У той час як AlexNet використовувала архітектуру CNN, спеціалізовану для обробки сіткових даних, таких як зображення, сучасні системи ШІ, такі як ChatGPT і Claude, покладаються в основному на моделі Transformer. Ці моделі є винаходом Google Research у 2017 році, який чудово справляється з обробкою послідовних даних і фіксацією довгострокових залежностей у тексті та інших носіях за допомогою механізму під назвою «увага».

Для навчальних даних AlexNet використовувала ImageNet, базу даних, створену професором Стенфордського університету доктором Фей-Фей Лі у 2006 році. Лі зібрав мільйони зображень в інтернеті та впорядкував їх за допомогою бази даних під назвою WordNet. Працівники платформи Amazon Mechanical Turk допомогли позначити зображення.

Для обробки цих даних проєкт потребував серйозних обчислювальних потужностей. Крижевський запускав процес навчання на двох відеокартах Nvidia, встановлених у комп’ютері, що стояв у його спальні в батьківському домі.

Що було далі

За 13 років, що минули з моменту прориву, творці AlexNet використовували свій досвід у різних напрямках, кожен з яких зробив свій внесок у цю сферу унікальним чином.

Після успіху AlexNet Крижевський, Суцкевер і Хінтон створили компанію під назвою DNNresearch Inc., яку Google придбала у 2013 році. Відтоді кожен член команди пішов своїм шляхом. Суцкевер став співзасновником OpenAI у 2015 році, який випустив ChatGPT у 2022 році, а нещодавно запустив Safe Superintelligence (SSI), стартап, який отримав 1 мільярд доларів фінансування. Крижевський залишив Google у 2017 році, щоб працювати над новими методами глибокого навчання в Dessa.

Хінтон отримав визнання та популярність за те, що попереджав про потенційну небезпеку майбутніх систем штучного інтелекту, пішов із Google у 2023 році, щоб вільно говорити на цю тему. Минулого року Хінтон отримав Нобелівську премію з фізики 2024 року разом із Джоном Дж. Хопфілдом за їхню основоположну роботу в галузі машинного навчання, яка сягає початку 1980-х років.

Стосовно того, хто отримує найбільшу заслугу в AlexNet, Хінтон описав ролі в проєкті з гумором: «Ілля подумав, що ми повинні це зробити, Алекс змусив це спрацювати, і я отримав Нобелівську премію».

Українець Валерій Ліборський став технічним директором американського техгіганта Yahoo. За його плечима понад 20 років роботи в Microsoft, Amazon та HelloFresh

По темi

Українець Валерій Ліборський став технічним директором американського техгіганта Yahoo. За його плечима понад 20 років роботи в Microsoft, Amazon та HelloFresh

Українець звільнився з Google та повернувся в Україну з Німеччини: що спонукало айтівця до такого рішення і чим він займається зараз

По темi

Українець звільнився з Google та повернувся в Україну з Німеччини: що спонукало айтівця до такого рішення і чим він займається зараз

Українець Ілля Полосухін був серед 8 дослідників Google, які закладали основи сучасного ШІ. Як це було

По темi

Українець Ілля Полосухін був серед 8 дослідників Google, які закладали основи сучасного ШІ. Як це було

Читайте головні IT-новини країни в нашому Telegram

По темi

Читайте головні IT-новини країни в нашому Telegram