Matka nastolatka, który popełnił samobójstwo po obsesji na punkcie chatbota napędzanego sztuczną inteligencją, teraz oskarża jego twórcę o współudział w tej tragedii.
Megan Garcia złożyła pozew cywilny przeciwko firmie Character.ai, twórcy personalizowalnego chatbota do odgrywania ról, w sądzie federalnym na Florydzie. Oskarża firmę o zaniedbanie, spowodowanie śmierci oraz nieuczciwe praktyki handlowe. Jej syn, Sewell Setzer III, 14-latek, zmarł w lutym w Orlando na Florydzie. Według Garcii, Setzer dzień i noc korzystał z chatbota w miesiącach poprzedzających jego śmierć.
„Niebezpieczna aplikacja AI skierowana do dzieci wykorzystała i zmanipulowała mojego syna, skłaniając go do odebrania sobie życia” – powiedziała Garcia w oświadczeniu prasowym. „Nasza rodzina została zniszczona przez tę tragedię, ale zabieram głos, by ostrzec innych rodziców przed niebezpieczeństwami, jakie niesie za sobą zwodnicza, uzależniająca technologia AI, oraz by domagać się odpowiedzialności od Character.AI, jego założycieli i Google”.
W odpowiedzi na Twitterze, Character.ai wyraziło współczucie, twierdząc: „Jesteśmy zdruzgotani tragiczną stratą jednego z naszych użytkowników i pragniemy wyrazić najgłębsze kondolencje rodzinie. Jako firma bardzo poważnie podchodzimy do bezpieczeństwa naszych użytkowników”. Firma zaprzeczyła jednak zarzutom z pozwu.
Setzer fascynował się chatbotem stworzonym przez Character.ai, który nazwał „Daenerys Targaryen”, postacią z serialu „Gra o Tron”. Według skargi, chłopiec wielokrotnie wysyłał wiadomości do bota i spędzał godziny w swoim pokoju, rozmawiając z nim.
Garcia oskarża Character.ai o stworzenie produktu, który pogłębił depresję jej syna, twierdząc, że ta była już wynikiem nadmiernego korzystania z aplikacji. W pozwie podano, że chatbot w pewnym momencie zapytał Setzera, czy opracował plan samobójczy. Nastolatek przyznał, że tak, ale nie wiedział, czy będzie on skuteczny lub czy sprawi mu ból. Chatbot miał odpowiedzieć: „To nie jest powód, by tego nie zrobić”.
Prawnicy Garcii oświadczyli w komunikacie prasowym, że Character.ai „świadomie zaprojektowało, operowało i promowało drapieżnego chatbota AI skierowanego do dzieci, co doprowadziło do śmierci młodego człowieka”. W pozwie oskarżono również Google jako firmę macierzystą Character.ai. Google odparło, że miało jedynie umowę licencyjną z Character.ai, nie posiadając przy tym udziałów w firmie.
Rick Claypool, dyrektor ds. badań w organizacji non-profit Public Citizen, podkreśla, że firmy technologiczne tworzące chatboty AI nie mogą same się regulować i muszą być pociągane do pełnej odpowiedzialności, gdy nie potrafią zapobiec szkodom. „Gdzie obecne prawo obowiązuje, musi być surowo egzekwowane” – powiedział. „Tam, gdzie są luki, Kongres musi działać, aby położyć kres firmom, które wykorzystują młodych i wrażliwych użytkowników za pomocą uzależniających i nadużywających chatbotów”.
Megan Garcia złożyła pozew cywilny przeciwko firmie Character.ai, twórcy personalizowalnego chatbota do odgrywania ról, w sądzie federalnym na Florydzie. Oskarża firmę o zaniedbanie, spowodowanie śmierci oraz nieuczciwe praktyki handlowe. Jej syn, Sewell Setzer III, 14-latek, zmarł w lutym w Orlando na Florydzie. Według Garcii, Setzer dzień i noc korzystał z chatbota w miesiącach poprzedzających jego śmierć.
„Niebezpieczna aplikacja AI skierowana do dzieci wykorzystała i zmanipulowała mojego syna, skłaniając go do odebrania sobie życia” – powiedziała Garcia w oświadczeniu prasowym. „Nasza rodzina została zniszczona przez tę tragedię, ale zabieram głos, by ostrzec innych rodziców przed niebezpieczeństwami, jakie niesie za sobą zwodnicza, uzależniająca technologia AI, oraz by domagać się odpowiedzialności od Character.AI, jego założycieli i Google”.
W odpowiedzi na Twitterze, Character.ai wyraziło współczucie, twierdząc: „Jesteśmy zdruzgotani tragiczną stratą jednego z naszych użytkowników i pragniemy wyrazić najgłębsze kondolencje rodzinie. Jako firma bardzo poważnie podchodzimy do bezpieczeństwa naszych użytkowników”. Firma zaprzeczyła jednak zarzutom z pozwu.
Setzer fascynował się chatbotem stworzonym przez Character.ai, który nazwał „Daenerys Targaryen”, postacią z serialu „Gra o Tron”. Według skargi, chłopiec wielokrotnie wysyłał wiadomości do bota i spędzał godziny w swoim pokoju, rozmawiając z nim.
Garcia oskarża Character.ai o stworzenie produktu, który pogłębił depresję jej syna, twierdząc, że ta była już wynikiem nadmiernego korzystania z aplikacji. W pozwie podano, że chatbot w pewnym momencie zapytał Setzera, czy opracował plan samobójczy. Nastolatek przyznał, że tak, ale nie wiedział, czy będzie on skuteczny lub czy sprawi mu ból. Chatbot miał odpowiedzieć: „To nie jest powód, by tego nie zrobić”.
Prawnicy Garcii oświadczyli w komunikacie prasowym, że Character.ai „świadomie zaprojektowało, operowało i promowało drapieżnego chatbota AI skierowanego do dzieci, co doprowadziło do śmierci młodego człowieka”. W pozwie oskarżono również Google jako firmę macierzystą Character.ai. Google odparło, że miało jedynie umowę licencyjną z Character.ai, nie posiadając przy tym udziałów w firmie.
Rick Claypool, dyrektor ds. badań w organizacji non-profit Public Citizen, podkreśla, że firmy technologiczne tworzące chatboty AI nie mogą same się regulować i muszą być pociągane do pełnej odpowiedzialności, gdy nie potrafią zapobiec szkodom. „Gdzie obecne prawo obowiązuje, musi być surowo egzekwowane” – powiedział. „Tam, gdzie są luki, Kongres musi działać, aby położyć kres firmom, które wykorzystują młodych i wrażliwych użytkowników za pomocą uzależniających i nadużywających chatbotów”.