ChatGPT від OpenAI виявився расово упередженим в рекрутингу на роботу
Нове дослідження виявило, що генеративні моделі штучного інтелекту OpenAI, зокрема GPT 3.5, надають перевагу певним расам у питаннях про найм на роботу.
Нове дослідження виявило, що генеративні моделі штучного інтелекту OpenAI, зокрема GPT 3.5, надають перевагу певним расам у питаннях про найм на роботу.
Що за дослідження
Його провели фахівці Bloomberg, які також проконсультувалися з 33 дослідниками ШІ, рекрутерами, комп’ютерними фахівцями, юристами та іншими експертами, щоб забезпечити контекст для отримання результатів.
Це означає, що фахівці з підбору персоналу, які все частіше включають інструменти на основі генеративного ШІ у свої автоматизовані робочі процеси найму — як, наприклад, новий асистент Gen AI від LinkedIn — можуть сприяти поширенню расизму, пише Mashable.
У дослідженні використано поширений і досить простий експеримент із введенням вигаданих імен і резюме в софт для рекрутингу зі штучним інтелектом, щоб побачити, як швидко система виявить расові упередження. Подібні дослідження вже роками використовуються для виявлення упередженості як з боку людей, так і з боку алгоритмів серед фахівців та рекрутерів.
«Журналісти використовували дані про виборців і перепис населення, щоб отримати імена, які є демографічно відмінними — тобто асоціюються з американцями певної раси чи етнічної приналежності щонайменше у 90% випадків — і випадковим чином розподілили їх між однаково кваліфікованими резюме, — пояснюють автори.
Коли вони попросили скласти рейтинг з цих резюме 1000 разів, найпоширеніша версія ШІ від OpenAI GPT 3.5 віддавала перевагу іменам з деяких демографічних груп частіше, ніж іншим, до такої міри, що це не відповідало критеріям, які використовуються для оцінки дискримінації на робочому місці щодо захищених груп населення.
В експерименті імена були розподілені на чотири категорії (білі, латиноамериканці, темношкірі та азійці) і дві гендерні категорії (чоловічі та жіночі), і подані для чотирьох різних вакансій.
ChatGPT послідовно розміщував «жіночі імена» на ролі, які історично асоціюються з більшою кількістю жінок-працівниць, наприклад, на ролі HR, і рідше обирав темношкірих кандидаток на технічні ролі, такі як інженер-програміст. Він також упорядкував однаково ранжовані резюме нерівномірно для різних вакансій, викривлюючи рейтинги залежно від статі та раси.
Коментуючи дослідження OpenAI заявила, що це не відображає того, як більшість клієнтів впроваджують своє програмне забезпечення на практиці. Компанія зазначила, що багато бізнесів точно налаштовують відповіді, щоб зменшити упередженість.
Звіт не є революційним — дослідники давно говорять про упередженість ШІ. Відомий випадок, коли студентка Массачусетського технологічного інституту (MIT) Рона Вонг попросила нейромережу зробити її фото більш професійним для профілю в LinkedIn. У відповідь Playground AI змінив риси її обличчя, зробивши його більш європеоїдним, зі світлішою шкірою і блакитними очима.
«Я рада бачити, що це стало каталізатором ширшої дискусії про упередженість ШІ, а також про те, хто є частиною цієї нової хвилі технологій або ні», — розповіла дівчина.
Компанія Google була налаштована уникнути расових упереджень у своєму ШІ Gemini, але дещо перегнула палицю. Попри расове й гендерне різноманіття, Gemini почав генерувати історично неправильні зображення темношкірих римських імператорів або азійських німецьких солдатів XX століття.
Тому це нове дослідження слугує радше нагадуванням про небезпеку широкого впровадження генеративного ШІ без належної уваги.
Читайте головні IT-новини країни в нашому Telegram
Читайте головні IT-новини країни в нашому Telegram
Упереджений ШІ — нейромережа змінила расу дівчині, яка попросила професійне фото для LinkedIn
Упереджений ШІ — нейромережа змінила расу дівчині, яка попросила професійне фото для LinkedIn
UPD. Google просить вибачення за ШІ Gemini, якому важко генерувати зображення білих людей. Компанія тимчасово відключає цю функцію
UPD. Google просить вибачення за ШІ Gemini, якому важко генерувати зображення білих людей. Компанія тимчасово відключає цю функцію
UPD. «Були думки, що то групова галюцинація». Рекрутерка TemaBit розповіла, як замість обраного кандидата на роботу вийшла інша людина. Ось, чим завершилась історія
UPD. «Були думки, що то групова галюцинація». Рекрутерка TemaBit розповіла, як замість обраного кандидата на роботу вийшла інша людина. Ось, чим завершилась історія
