Wersje chatbotów nastolatek Molly Russell i Brianny Ghey zostały znalezione na Character.ai – platformie umożliwiającej użytkownikom tworzenie cyfrowych wersji prawdziwych lub fikcyjnych osób.
Molly Russell odebrała sobie życie w wieku 14 lat po obejrzeniu w Internecie materiałów o samobójstwie, a 16-letnia Brianna Ghey została zamordowana przez dwoje nastolatków w 2023 r.
Fundacja powołana ku pamięci Molly Russell stwierdziła, że jest to „obrzydliwe” i „całkowicie karygodny brak umiaru”.
Platforma została już pozwana w USA przez matkę 14-letniego chłopca, który według niej odebrał sobie życie po tym, jak nabrał obsesji na punkcie chatbota Character.ai.
W oświadczeniu dla dziennika „The Telegraph”, który jako pierwszy opisał tę historię, firma stwierdziła, że „poważnie podchodzi do bezpieczeństwa na naszej platformie i aktywnie moderuje Postacie oraz w odpowiedzi na zgłoszenia użytkowników”.
Wygląda na to, że firma usunęła chatboty po otrzymaniu ostrzeżenia – podaje gazeta.
Andy Burrows, dyrektor naczelny Fundacji Molly Rose, powiedział, że stworzenie botów było „obrzydliwą akcją, która spowoduje dalszy ból serca wszystkich, którzy znali i kochali Molly”.
„To wyraźnie podkreśla, dlaczego ściślejsze uregulowanie zarówno sztucznej inteligencji, jak i platform tworzonych przez użytkowników nie może nastąpić wystarczająco szybko” – stwierdził.
Esther Ghey, matka Brianny Ghey, powiedziała „The Telegraph”, że to kolejny przykład tego, jak „manipulacyjny i niebezpieczny” może być świat online.
Character.ai, założona przez byłych inżynierów Google Noama Shazeera i Daniela De Freitasa, ma regulamin korzystania z usługi, który zabrania korzystania z platformy w celu „podszywania się pod jakąkolwiek osobę lub podmiot”.
w swoim „centrum bezpieczeństwa„firma twierdzi, że jej naczelną zasadą jest to, że jej „produkt nigdy nie powinien wywoływać reakcji, które mogą zaszkodzić użytkownikom lub innym osobom”.
Twierdzi, że korzysta z zautomatyzowanych narzędzi i raportów użytkowników, aby identyfikować zastosowania łamiące jej zasady, a także buduje zespół „zaufania i bezpieczeństwa”.
Zauważa jednak, że „żadna sztuczna inteligencja nie jest obecnie doskonała”, a bezpieczeństwo w sztucznej inteligencji to „przestrzeń ewoluująca”.
Character.ai jest obecnie przedmiotem pozwu wniesionego przez Megan Garcia, kobietę z Florydy, której 14-letni syn Sewell Setzer odebrał sobie życie po obsesji na punkcie awatara AI inspirowanego postacią z Gry o Tron.
Według zapisów ich rozmów znajdujących się w aktach sądowych Garcii, jej syn omawiał zakończenie życia za pomocą chatbota.
W ostatniej rozmowie Setzer powiedział chatbotowi, że „wraca do domu”, co zachęciło go, aby zrobił to „tak szybko, jak to możliwe”.
Niedługo potem zakończył swoje życie.
Charakter.ai powiedział CBS News posiadał zabezpieczenia skupione szczególnie na zachowaniach samobójczych i samookaleczeniach i tak będzie wprowadzenie bardziej rygorystycznych zasad bezpieczeństwa funkcje dla osób poniżej 18 roku życia „wkrótce”.
