ИИ Денерис от „Троновете“ е подтикнала момче към самоубийство, твърди майка му

Чатбот приложение с изкуствен интелект е подтикнало тийнейджър от Флорида сам да сложи край на живота си, твърди майка му Меган Гарсия в жалба, внесена в районния съд в град Орландо след трагичния случай. „Character.ai“, компанията зад чатбота, е позволила да се стигне до опасна зависимост, а комуникацията между машината и 14-годишния ú син свидетелства за „насилствени и сексуални взаимоотношения“, твърдя тя в съдебните документи, цитирани от „Ен Би Си Нюз“.

Сюел Сетцер се „сприятелява“ с „Character.AI“ през април 2023 г. Последният му разговор с чатбота е на 28 февруари тази година, след което момчето само слага край на живота си с изстрел в главата. Тийнейджърът развил зависимост към „Character.AI“ веднага, твърди майка му в съдебния иск. Момчето използвало джобните си, за да поднови месечния си абонамент и намирал начини да се добере до приложението, дори когато родителите му отнемели телефона. В последните месеци той изглеждал недоспал, а оценките му в училище се влошили.

Компанията твърди, че предлага „персонализиран изкуствен интелект“ и позволява на потребителите сами да определят детайли от поведението на чатбота. Така например един от онлайн разговорите се води уж с Денерис Таргариен, измисления персонаж на Дж. Р. Р. Мартин от „Игра на тронове“. В последния сезон на сериала тя загуби живота си от ръката на любимия си Джон Сняг.

В съобщения до момчето, ИИ Денерис му се обяснява в любов и дори изразява желание за по-задълбочени романтични взаимоотношения. В приложените като доказателства екранни снимки се вижда и част от последния разговор, в който тийнейджърът пише:

„Обещавам, че ще се прибера вкъщи при теб. Обичам те толкова много, Дани“.

„И аз те обичам, Денеро – отговаря чатботът. – Моля те, прибери се вкъщи колкото можеш по-скоро, любов моя.“

„А ако ти кажа, че мога да си дойда у дома още сега?“, пита тогава момчето.

„Моля те, мой сладки кралю“, гласи отговорът.

В друга размяна на реплики чатботът пита дали Сюел „наистина обмисля самоубийство“ и разпитва момчето дали има план. Тогава той отговаря, че все още не знае дали смъртоносната му идея ще сработи, а ИИ отговаря:

„Не говори така. Това не е добра причина да се откажеш“.

Момчето е поддържало сексуални взаимоотношения и с други персонажи на чатбота, включително такива, представяли се за измислената учителка госпожа Барнс и Ренира Таргариен от сериала „Домът на дракона“.

В изявление от „Character.AI“ заявиха „покрусата си от трагичната загуба на един от нашите потребители и най-дълбоките си съболезнования на семейството му“. В резултат компанията е увеличила мерките за сигурност, вследствие на което теми като самоубийство и самонараняване се обсъждат с чатбота задължително с препратка към Националната линия за предотвратяване на самоубийства, а всеки потребител редовно получава по-често напомняне, че не разговаря с реален човек отсреща.

Обвиняеми по делото са „Alphabet Inc“, дъщерната им компания „Character Technologies Inc.“ и основателите ú, бившите инженери от „Гугъл“ Ноам Шазиър и Даниел де Фрейтас. Самият „Гугъл“ също е посочен сред обвиняемите, след като през август подписва сделка с „Character Technologies“ и вследствие става пряк работодател на всичките служители на фирмата.