У світі закінчуються дані для навчання штучного інтелекту. Дослідники б'ють на сполох. Чи є вихід?
Дослідники попереджають, що до 2026 року нам може не вистачити даних для навчання ШІ. Що тоді?
Дослідники попереджають, що до 2026 року нам може не вистачити даних для навчання ШІ. Що тоді?
Коли штучний інтелект (ШІ) досягає піка своєї популярності, дослідники попереджають, що в галузі може закінчитися навчальна інформація — паливо, на якому працюють потужні системи ШІ. Це може сповільнити зростання моделей ШІ, особливо великих мовних моделей, і навіть змінити траєкторію революції ШІ.
Чому якісні дані важливі для АІ
Для навчання потужних, точних і якісних алгоритмів штучного інтелекту нам потрібно багато даних. Наприклад, ChatGPT був навчений на 570 гігабайтах текстових даних, або близько 300 млрд слів.
Аналогічно, алгоритм стабільної дифузії (який лежить в основі багатьох програм для створення зображень зі штучним інтелектом, таких як DALL-E, Lensa і Midjourney) навчався на наборі даних LIAON-5B, що складається з 5,8 мільярда пар зображення-текст. Якщо алгоритм навчається на недостатній кількості даних, він буде давати неточні або неякісні результати, пише The conversation.
Якість даних для навчання також важлива. Низькоякісні дані, такі як пости в соціальних мережах або розмиті фотографії, легко знайти, але їх недостатньо для навчання високоефективних моделей ШІ.
Текст, взятий із соціальних мереж, може бути упередженим або необ'єктивним, або містити дезінформацію чи незаконний контент, який може бути відтворений моделлю.
Наприклад, коли Microsoft спробувала навчити свого штучного інтелекту бота на основі контенту Twitter, він навчився видавати расистські та жінконенависницькі результати.
Ось чому розробники ШІ шукають високоякісний контент, такий як текст з книг, інтернет-статей, наукових робіт, Вікіпедії та певний відфільтрований вебконтент. Щоб зробити Google Assistant більш розмовним, його навчали на 11 000 романтичних романів, узятих із сайту самвидаву Smashwords.
Чи достатньо у нас даних?
Індустрія штучного інтелекту навчає ШІ-системи на все більших наборах даних, тому зараз ми маємо високопродуктивні моделі, такі як ChatGPT або DALL-E 3.
Водночас дослідження показують, що запаси даних в інтернеті зростають набагато повільніше, ніж набори даних, які використовуються для навчання ШІ.
У статті, опублікованій минулого року, група дослідників спрогнозувала, що високоякісні текстові дані закінчаться до 2026 року, якщо поточні тенденції в навчанні ШІ збережуться. Вони також підрахували, що низькоякісні мовні дані будуть вичерпані десь між 2030 і 2050 роками, а низькоякісні дані зображень — між 2030 і 2060 роками.
За даними бухгалтерської та консалтингової групи PwC, до 2030 року ШІ може принести світовій економіці до $15,7 трлн. Але нестача придатних для використання даних може сповільнити його розвиток.
Чи варто хвилюватися?
Хоча вищезазначені пункти можуть занепокоїти деяких фанатів ШІ, ситуація може бути не такою поганою, як здається. Існує багато невідомого про те, як моделі ШІ розвиватимуться в майбутньому, а також кілька способів усунути ризик нестачі даних.
Одна з можливостей полягає в тому, щоб розробники ШІ вдосконалювали алгоритми, щоб вони ефективніше використовували дані, які вже є в них.
Цілком ймовірно, що в найближчі роки вони зможуть навчати високопродуктивні системи ШІ використовуючи менше даних і, можливо, меншу обчислювальну потужність. Це також допоможе зменшити вуглецевий слід ШІ.
Інший варіант — використовувати ШІ для створення синтетичних даних для навчання систем. Іншими словами, розробники можуть просто генерувати дані, які їм потрібні, відповідно до їхньої конкретної моделі ШІ.
Деякі проєкти вже використовують синтетичний контент, який часто отримують із сервісів, що генерують дані, таких як Mostly AI. У майбутньому це стане більш поширеним явищем.
Розробники також шукають контент поза межами вільного онлайн-простору, наприклад, у великих видавництвах та офлайн-репозиторіях — у мільйонах текстів, опублікованих до появи інтернету. Доступні в цифровому форматі, вони можуть стати новим джерелом даних для проєктів зі створення штучного інтелекту.
News Corp, один із найбільших у світі власників новинного контенту (значна частина якого за платною підпискою), нещодавно заявила, що веде переговори з розробниками ШІ щодо укладення угод про надання контенту. Такі угоди змусять AI-компанії платити за навчальні дані — тоді як досі вони здебільшого брали їх з інтернету безплатно.
Творці контенту протестують проти несанкціонованого використання їхнього контенту для навчання ШІ-моделей, а деякі з них подали до суду на такі компанії, як Microsoft, OpenAI та Stability AI. Винагорода за їхню роботу може допомогти відновити певний дисбаланс сил, який існує між творчими людьми та компаніями, що розробляють ШІ.
Штучний інтелект буде допомагати банкам Волл-стріт складати огляди продуктивності працівників, на які раніше витрачали сотні годин
Штучний інтелект буде допомагати банкам Волл-стріт складати огляди продуктивності працівників, на які раніше витрачали сотні годин
Революція проти програмістів чи додатковий інструмент? Як штучний інтелект змінить IT-ринок праці
Революція проти програмістів чи додатковий інструмент? Як штучний інтелект змінить IT-ринок праці
Читайте головні IT-новини країни в нашому Telegram
Читайте головні IT-новини країни в нашому Telegram
