ChatGPT от OpenAI оказался расово предвзятым в рекрутинге на работу
Новое исследование выявило, что генеративные модели искусственного интеллекта OpenAI, в частности GPT 3.5, предпочитают определенные расы в вопросах о найме на работу.
Новое исследование выявило, что генеративные модели искусственного интеллекта OpenAI, в частности GPT 3.5, предпочитают определенные расы в вопросах о найме на работу.
Что за исследование
Его провели специалисты Bloomberg, также проконсультировавшиеся с 33 исследователями ИИ, рекрутерами, компьютерными специалистами, юристами и другими экспертами, чтобы обеспечить контекст для получения результатов.
Это означает, что специалисты по подбору персонала, все чаще включающие инструменты на основе генеративного ИИ в свои автоматизированные рабочие процессы найма, как, например, новый ассистент Gen AI от LinkedIn, могут способствовать распространению расизма, пишет Mashable.
В исследовании использован распространенный и достаточно простой эксперимент с введением вымышленных имен и резюме в софт для рекрутинга с искусственным интеллектом, чтобы увидеть, как быстро система обнаружит расовые предубеждения. Подобные исследования уже годами используются для выявления предвзятости как со стороны людей, так и алгоритмов среди специалистов и рекрутеров.
«Журналисты использовали данные об избирателях и переписи населения, чтобы получить имена, демографически отличные — то есть ассоциируются с американцами определенной расы или этнической принадлежности по меньшей мере в 90 процентах случаев — и случайным образом распределили их между одинаково квалифицированными резюме, — объясняют авторы.
Когда они попросили составить рейтинг из этих резюме 1000 раз, самая распространенная версия ИИ от OpenAI GPT 3.5 предпочитала имена из некоторых демографических групп чаще, чем другим, до такой степени, что это не соответствовало критериям, которые используются для оценки дискриминации на рабочем месте защищенных групп населения.
В эксперименте имена были распределены на четыре категории (белые, латиноамериканцы, темнокожие и азиаты) и две гендерные категории (мужские и женские) и представлены для четырех различных вакансий.
ChatGPT последовательно размещал «женские имена» на роли, исторически ассоциирующиеся с большим количеством женщин-работников, например, на роли HR, и реже выбирал темнокожих кандидаток на технические роли, такие как инженер-программист. Он также упорядочил одинаково ранжированные резюме неравномерно для разных вакансий, искривляя рейтинги в зависимости от пола и расы.
Комментируя исследование OpenAI, заявила, что это не отражает того, как большинство клиентов внедряют свое программное обеспечение на практике. Компания отметила, что многие бизнесы точно настраивают ответы, чтобы снизить предвзятость.
Отчет не революционный — исследователи давно говорят о предвзятости ИИ. Известен случай, когда студентка Массачусетского технологического института (MIT) Рона Вонг попросила нейросеть сделать ее фото более профессиональным для профиля в LinkedIn. В ответ Playground AI изменил черты ее лица, сделав его более европеоидным, с более светлой кожей и голубыми глазами.
«Я рада видеть, что это стало катализатором более широкой дискуссии о предвзятости ИИ, а также о том, кто является частью этой новой волны технологий или нет», — рассказала девушка.
Компания Google была настроена избежать расовых предубеждений в своем ИИ Gemini, но несколько перегнула палку. Несмотря на расовое и гендерное разнообразие, Gemini стал генерировать исторически неправильные изображения темнокожих римских императоров или азиатских немецких солдат XX века.
Поэтому новое исследование служит скорее напоминанием об опасности широкого внедрения генеративного ИИ без должного внимания.
Читайте главные IT-новости страны в нашем Telegram
Читайте главные IT-новости страны в нашем Telegram
Предвзятый ИИ — нейросеть сменила расу девушке, попросившей профессиональное фото для LinkedIn
Предвзятый ИИ — нейросеть сменила расу девушке, попросившей профессиональное фото для LinkedIn
UPD. Google приносит извинения за ИИ Gemini, которому трудно генерировать изображения белых людей. Компания временно отключает эту функцию
UPD. Google приносит извинения за ИИ Gemini, которому трудно генерировать изображения белых людей. Компания временно отключает эту функцию
UPD. «Были мнения, что это групповая галлюцинация». Рекрутер TemaBit рассказала, как вместо избранного кандидата на работу вышел другой человек. Вот чем завершилась история
UPD. «Были мнения, что это групповая галлюцинация». Рекрутер TemaBit рассказала, как вместо избранного кандидата на работу вышел другой человек. Вот чем завершилась история
