Швидке зростання ШІ-моделей від OpenAI та її конкурентів наповнили інтернет низькоякісною інформацією, яка потрапляє у тренувальні набори даних нових моделей штучного інтелекту і спричиняє помилки.
Швидке зростання ШІ-моделей від OpenAI та її конкурентів наповнили інтернет низькоякісною інформацією, яка потрапляє у тренувальні набори даних нових моделей штучного інтелекту і спричиняє помилки.
Про це пише видання Futurism з посиланням на The Register, яке порівнює ситуацію з попитом на «низькофонову сталь», яка була вироблена до детонації перших ядерних бомб, починаючи з липня 1945 року. Ці вибухи вивільнили радіонукліди та інші частинки, які просочилися практично у всю сталь, вироблену після цього.
Це робить сучасні метали непридатними для використання в деякому високочутливому науковому та медичному обладнанні. Значним джерелом низькофонової сталі навіть сьогодні є лінкори часів Першої та Другої світових воєн, включаючи величезний військово-морський флот, який був затоплений у 1919 році.
«Це дозволило нам мати майже нескінченний запас сталі з низьким фоном. Якби не це, ми б застрягли. Але якщо ви збираєте дані до 2022 року, ви цілком впевнені, що вони мають мінімальне, якщо таке взагалі є, забруднення від генеративного ШІ. Усе до цієї дати — „безпечне, добре, чисте“, все після неї — „брудне“», — зазначив науковець.
У 2024 році Чіодо став співавтором статті, в якій стверджував, що має бути джерело «чистих» даних не лише для того, щоб запобігти колапсу моделі, але й для того, щоб забезпечити чесну конкуренцію між розробниками ШІ. На його думку, першопрохідці в цій сфері мають перевагу, бо вони єдині, хто отримав вигоду від чистішого джерела навчальних даних, до того як інтернет забруднили ШІ.
Наразі науковці не можуть дійти згоди, чи колапсують моделі ШІ через забруднення даних, але багато дослідників вже роками б’ють на сполох.
«Зараз незрозуміло, якою мірою колапс моделей буде проблемою, але якщо це проблема, і ми забруднили це середовище даних, очищення буде надзвичайно дорогим, ймовірно, неможливим», — говорить Чіодо.
Наразі вже виникають проблеми при «генерації з доповненим пошуком», яку моделі ШІ використовують для доповнення своїх застарілих навчальних даних інформацією, отриманою з Інтернету в режимі реального часу. Але ці нові дані не гарантовано будуть вільними від підробок ШІ, і деякі дослідження показали, що це призводить до того, що чат-боти дають набагато більше «небезпечних» відповідей.
Після того, як OpenAI та інші розробники повідомили про зменшення віддачі від своїх найновіших моделей наприкінці 2024 року, деякі експерти заявили, що масштабування вперлося в стелю. І якщо ці дані будуть дедалі більше завантажені «інформаційним шумом», ця перепона стане ще більш непрохідною.
Чіодо припускає, що суворіші правила, такі як маркування контенту ШІ, можуть допомогти маркувати частину цього «шуму», але це буде важко реалізувати, особливо через спротив компаній щодо державного регулювання сфери штучного інтелекту.
