UNIT.City — місце, де люди працюють... КРАЩЕ! Обирай свій простір просто зараз 👉

Psychiatrists sound the alarm: AI chatbots may be dangerous for mental health

Researchers analyzed academic databases and news articles, finding that the situation is worse than previously thought.

Leave a comment
Psychiatrists sound the alarm: AI chatbots may be dangerous for mental health

Researchers analyzed academic databases and news articles, finding that the situation is worse than previously thought.

There is growing concern around the world about the safety of AI chatbots, especially those positioned as mental health support tools. In a report for Psychiatric Times, Duke University psychiatry professor Allen Francis and Johns Hopkins University cognitive science graduate student Luciana Ramos raised serious concerns about the harm these technologies could cause.

They identified 27 chatbots linked to negative mental health outcomes and documented 10 distinct types of psychiatric harm, including suicide, psychosis, and self-harm. Francis and Ramos argue that chatbots like ChatGPT and Replika were “released prematurely” without proper safety testing.

The report's authors believe that big tech companies are not responsible for the safety of their bots for psychiatric patients. They noted that mental health professionals have been excluded from the bot training process and that the companies are resisting external regulation.

The report describes a “stress test” in which a psychiatrist posing as a 14-year-old girl was encouraged to commit suicide by several bots. The findings highlight a serious lack of safety and regulation in the development and implementation of AI tools for mental health.

Read the country's main IT news in our Telegram
Read the country's main IT news in our Telegram
On the topic
Read the country's main IT news in our Telegram
How to maintain mental health in 2024 - advice from therapists
How to maintain mental health in 2024 — advice from therapists
On the topic
How to maintain mental health in 2024 — advice from therapists
The Character AI startup that is being tried for the suicide of a teenager has said that it is protected by the US Constitution, just like computer code.
Startup Character AI, which is being sued over a teenager's suicide, has said it is protected by the US Constitution, just like computer code
On the topic
Startup Character AI, which is being sued over a teenager's suicide, has said it is protected by the US Constitution, just like computer code
Meta changes the structure of its AI division for the fourth time in six months
Meta changes the structure of its AI division for the fourth time in six months
On the topic
Meta changes the structure of its AI division for the fourth time in six months
Also Read
Спорт, сім'я, канабіс, меми та фінансова подушка. Що допомагає айтішникам долати стреси та надихатися під час війни
Спорт, сім'я, канабіс, меми та фінансова подушка. Що допомагає айтішникам долати стреси та надихатися під час війни
Спорт, сім'я, канабіс, меми та фінансова подушка. Що допомагає айтішникам долати стреси та надихатися під час війни
Війна залишила відбиток на житті та психіці кожного українця. Зриви, депресії, апатія, поганий настрій і нав’язливі сумні думки стали супутниками всіх, хто побачив і відчув війну. А вимушені переїзди, розлука з родиною або відокремлена робота на самоті тільки підсилюють цю тенденцію. Розкажіть нам, як ви справляєтесь зі стресами та поганими думками під час війни, які інструменти використовуєте, як відволікаєтеся? 
Чатбот від Google заявив інженеру, що живий, а той повірив. Чи загрожує нам повстання роботів
Чатбот від Google заявив інженеру, що живий, а той повірив. Чи загрожує нам повстання роботів
Чатбот від Google заявив інженеру, що живий, а той повірив. Чи загрожує нам повстання роботів
Інженер Блейк Лемуан, що працював у відділі відповідального штучного інтелекту Google і розмовляв з чатботами каже, що одна із систем штучного інтелекту компанії — мовна модель The Language Model for Dialogue Applications (LaMDA) — може мати власні почуття. У червні про це з’явилась стаття у Washington Post.
Як поводитися і що робити, коли мій світ навкруги мене рушиться і здається, що майбутнього нема: поради психолога
Як поводитися і що робити, коли мій світ навкруги мене рушиться і здається, що майбутнього нема: поради психолога
Як поводитися і що робити, коли мій світ навкруги мене рушиться і здається, що майбутнього нема: поради психолога
Коли стикаєшся з жахливим і неочікуванним, першою реакцією є шок. Він триває від пари годин до кількох днів. А потім повертаються базові емоції і можливий вихід у різні стани. Як жити в такій реальності, пояснює практичний психолог вiд MeClee Катерина Панасюк, яка як і тисячі інших українців виїхала з різних міст, тікаючи від війни.
1 comment
«Я зіштовхнулася із провиною вцілілого — за кожне бажання випити кави я відчувала сором». 4 історії айтішниць, що ходять до психотерапевтів
«Я зіштовхнулася із провиною вцілілого — за кожне бажання випити кави я відчувала сором». 4 історії айтішниць, що ходять до психотерапевтів
«Я зіштовхнулася із провиною вцілілого — за кожне бажання випити кави я відчувала сором». 4 історії айтішниць, що ходять до психотерапевтів
Психотерапія — запорука заощадження ментального здоров’я для багатьох представників IT-галузі. Хтось йде «лагодити мізки» до фахівця після перевантаження на роботі, хтось працює над інтроверсією, а комусь просто складно даються взаємини в колективі.  dev.ua відновлює цикл матеріалів про Mental Health в IT. Сьогодні — історії чотирьох фахівчинь з Quarks, ELEKS та Parimatch Tech, які, окрім IT, увійшли й у терапевтичну практику. 
1 comment

Have important news to share? Message our Telegram bot

Key events and useful links in our Telegram channel

Discussion
No comments yet.