ChatGPT предоставлял ложную информацию, когда его просили разработать план лечения рака, смешивая достоверные и ложные данные. Исследователи говорят, что такие проблемы с точностью генеративного ИИ свидетельствуют о том, что он вряд ли заменит врачей в ближайшее время.
ChatGPT предоставлял ложную информацию, когда его просили разработать план лечения рака, смешивая достоверные и ложные данные. Исследователи говорят, что такие проблемы с точностью генеративного ИИ свидетельствуют о том, что он вряд ли заменит врачей в ближайшее время.
ChatGPT полезен во многих областях, но новое исследование показывает, что за медицинскими советами к нему лучше не обращаться. Об этом пишет Insider.
Исследователи из Brigham and Women’s Hospital обнаружили, что планы лечения рака, сгенерированные чат-ботом OpenAI, были дополнены ошибками. Согласно исследованию, опубликованному в журнале JAMA Oncology, треть ответов ChatGPT содержала ложную информацию, когда его просили сгенерировать планы лечения для разных случаев рака.
В исследовании также отмечается, что чат-бот имел тенденцию смешивать правильную и неправильную информацию вместе, таким образом, что было трудно определить, какая из них является точной. Из 104 запросов около 98% ответов ChatGPT содержали по крайней мере одну рекомендацию по лечению, которая отвечала рекомендациям Национальной всеобъемлющей онкологической сети, говорится в отчете.
Авторы исследования были «поражены насколько неправильная информация была смешана с правильной, что особенно затрудняло выявление ошибок даже для экспертов».
«Большие языковые модели научены давать ответы, которые звучат очень убедительно, но они не предназначены для предоставления точных медицинских советов. Частота ошибок и нестабильность ответов — критически важные вопросы безопасности, которые необходимо решить для медицинской сферы», — рассказала соавтор исследования доктор Даниэль Биттерман.
Однако интеграция ИИ в здравоохранение, прежде всего для упрощения административных задач, уже проводится. Ранее в этом месяце обширное исследование показало, что использование ИИ для скрининга рака молочной железы безопасно. Его авторы предполагают, что это может почти вдвое снизить нагрузку на врачей-радиологов.
А компьютерный ученый из Гарварда недавно обнаружил, что GPT-4, последняя версия модели, может успешно сдать экзамен на медицинское лицензирование в США. Ученый считает, что ИИ имеет лучшее клиническое суждение, чем некоторые врачи.
Тем не менее проблемы с точностью генеративных моделей, таких как ChatGPT, означают, что они вряд ли заменят врачей в ближайшее время.
