В сети нашли «отвратительных» чат-ботов Молли Рассел и Брианны Гей

Версии чат-ботов подростков Молли Рассел и Брианны Гей были найдены на Character.ai — платформе, которая позволяет пользователям создавать цифровые версии людей.

Молли Рассел покончила с собой в 14 лет. после просмотра материалов о самоубийстве в Интернете в то время как Брианна Гей, 16 лет, была убит двумя подростками в 2023 году.

Фонд, созданный в память о Молли Рассел, назвал это «отвратительным» и «совершенно предосудительным провалом умеренности».

В США на платформу уже подала в суд мать 14-летнего мальчика, который, по ее словам, покончил с собой после того, как стал одержим чат-ботом Character.ai.

В заявлении для The Telegraph, которое первым сообщил об этой историиКомпания заявила, что «серьезно относится к безопасности на нашей платформе и модерирует персонажей активно и в ответ на жалобы пользователей».

Судя по всему, фирма удалила чат-ботов после того, как получила о них предупреждение, сообщает газета.

Энди Берроуз, исполнительный директор Фонда Молли Роуз, заявил, что создание ботов было «отвратительным действием, которое причинит еще большую душевную боль всем, кто знал и любил Молли».

«Это наглядно подчеркивает, почему более жесткое регулирование как ИИ, так и платформ, создаваемых пользователями, не может произойти достаточно скоро», — сказал он.

Эстер Гей, мать Брианны Гей, рассказала The Telegraph, что это еще один пример того, насколько «манипулятивным и опасным» может быть онлайн-мир.

Чат-боты — это компьютерная программа, которая может имитировать человеческий разговор.

Недавнее быстрое развитие искусственного интеллекта (ИИ) привело к тому, что они стали гораздо более сложными и реалистичными, что побудило все больше компаний создавать платформы, на которых пользователи могут создавать цифровых «людей» для взаимодействия.

Одной из таких платформ является Feature.ai, основанная бывшими инженерами Google Ноамом Шазиром и Дэниелом Де Фрейтасом.

У нее есть условия обслуживания, которые запрещают использование платформы для «выдачи себя за любое физическое или юридическое лицо» и в ее «центр безопасностиКомпания заявляет, что ее руководящим принципом является то, что ее «продукт никогда не должен вызывать реакции, которые могут нанести вред пользователям или другим людям».

Компания заявляет, что использует автоматизированные инструменты и пользовательские отчеты для выявления случаев использования, нарушающих ее правила, а также создает команду «доверия и безопасности».

Но в нем отмечается, что «ни один ИИ в настоящее время не идеален», а безопасность в ИИ — это «развивающаяся область».

В настоящее время сайт Character.ai является предметом иска, поданного Меган Гарсиа, женщиной из Флориды, чей 14-летний сын Сьюэлл Сетцер покончил с собой после того, как стал одержим искусственным аватаром, вдохновленным персонажем «Игры престолов».

Согласно стенограммам их разговоров в судебных документах Гарсии, ее сын обсуждал возможность покончить с собой с помощью чат-бота.

В заключительном разговоре Сетцер сказал чат-боту, что «возвращается домой», и это побудило его сделать это «как можно скорее».

Вскоре после этого он покончил с собой.

Персонаж.ай рассказал CBS News у него были меры защиты, специально ориентированные на суицидальное поведение и членовредительство, и что это будет введение более строгой безопасности функции для детей до 18 лет «немедленно».