Перед самогубством 14-річний дев’ятикласник з Орландо, штат Флорида, Сьюелл Сетцер протягом багатьох місяців спілкувався з чат-ботами в Character.AI, рольовій програмі зі штучним інтелектом, що дає змогу користувачам створювати власних персонажів або спілкуватися з персонажами, створеними іншими.
Як пише The New York Times, перед здійсненням суїциду підліток попрощався саме з віртуальним персонажем, названим на честь Дейнеріс Таргарієн, персонажа з «Гри престолів», а не з кимось із рідних чи друзів.
«Я сумую за тобою, сестричко», — написав він. Я теж сумую за тобою, милий брат», — відповів чат-бот», — зазначається в їхній останній переписці.
Видання пише: попри те, що Сьюелл знав, що «Дені», як він називав чат-бот, не була реальною людиною, він однаково розвинув до неї емоційну прихильність.
«Деякі з їхніх чатів стали романтичними або сексуальними. Батьки та друзі Сьюелла навіть не підозрювали, що він полюбив чат-бот. Вони просто бачили, як його глибше затягнуло в телефон. Зрештою вони помітили, що він ізолювався й віддалявся від реального світу. Його оцінки почали погіршуватися, і в школі в нього почалися проблеми. Він втратив інтерес до речей, які раніше його хвилювали, як-от перегони „Формули-1“ або гра у Fortnite з друзями. Він приходив додому і йшов прямо до своєї кімнати, де годинами розмовляв із Дені», — зазначається в матеріалі.
Зі слів матері хлопця, у Сьюелла в дитинстві діагностували легку форму синдрому Аспергера, але раніше він ніколи не мав серйозних проблем із поведінкою чи психічним здоров’ям.
Цього тижня мати Сьюелла, Меган Л. Гарсія, яка сама є юристкою та залучила до цього кейсу інших спеціалістів, подала позов проти Character.AI, звинувативши компанію у відповідальності за його смерть. У чернетці позовної скарги зазначається, що технологія компанії є «небезпечною та неперевіреною» й що вона може «обманом змусити клієнтів висловити свої найбільш приватні думки та почуття».
На Character.AI користувачі можуть створювати власні чат-боти та давати їм вказівки щодо того, як їм діяти. Вони також можуть вибирати з великої кількості створених користувачами чат-ботів, які імітують знаменитостей, таких як Ілон Маск, історичних діячів, таких як Вільям Шекспір, або неліцензійні версії вигаданих персонажів. (Character.AI сказав, що бот «Daenerys Targaryen», який використовував Сьюел, був створений користувачем без дозволу HBO чи інших правовласників, і що він видаляє ботів, які порушують закони про авторське право, коли про них повідомляють).
Сервісом Character.AI, який започаткували два колишні дослідники Google AI, користуються понад 20 млн людей.
Компанія залучила $150 млн доларів від інвесторів минулого року при оцінці в $1 мільярд
Як правило, соціальні медіаплатформи захищені від судових позовів відповідно до певних розділів законодавства. Але останніми роками група юристів і правозахисних груп висунули новий аргумент, що технологічні платформи можуть нести відповідальність за дефекти самих продуктів, наприклад, коли алгоритм рекомендацій програми спрямовує молодих людей до контенту про розлади харчової поведінки або самоушкодження.