Žena z Floridy podala žalobu na spoločnosť vyrábajúcu chatbota s umelou inteligenciou, ktorú viní zo smrti svojho 14-ročného syna, ktorý spáchal samovraždu. Jej syn Sewell Setzer III po tom, ako si podľa matky vytvoril silnú citovú závislosť od fiktívneho vzťahu s chatbotom s umelou inteligenciou, siahol na život. Megan Garciová tvrdí, že Character.AI sa “zameral na najzraniteľnejších členov spoločnosti“.

Žaloba

V rozsiahlej žalobe podanej v utorok 22. októbra na federálnom súde na Floride Megan Garciová prostredníctvom svojich právnikov podrobne odsledovala posledný rok života syna Sewella Setzera III. Od chvíle, keď v apríli 2023, teda krátko po svojich 14. narodeninách, začal prvýkrát používať Character.AI, cez to, čo nazýva jeho narastajúcimi psychickými problémami, až po jeho predposlednú februárovú noc, keď sa Sewell vo svojej kúpeľni v Orlande smrteľne postrelil, a to len niekoľko týždňov predtým, ako by oslávil 15 rokov.

Prostredníctvom aplikácie Character.AI môžu používatelia v podstate simulovať nekonečné rozhovory s počítačom vygenerovanými osobnosťami – “botmi“ alebo “chatbotmi“- vrátane tých, ktoré sú vytvorené podľa vzoru celebrít alebo populárnych príbehov.

Sewell sa podľa žaloby obzvlášť rád rozprával s botmi vytvorenými a poháňanými umelou inteligenciou (AI) na základe seriálu Hra o tróny (Game of Thrones).

V žalobe sa ďalej uvádza, že tínedžer sa 28. februára zabil bezprostredne po poslednej konverzácii na stránke Character.AI s verziou postavy Daenerys Targaryen ( jedna z hrdiniek seriálu Hra o tróny). Išlo o jeden z mnohých takýchto rozhovorov, ktoré Sewell údajne viedol s programom počas predchádzajúcich 10 mesiacov. S chatbotom si Sewll vymenil rôzne správy – od sexuálnych až po tie, ktoré boli veľmi emotívne.

A aj keď minimálne pri jednej z príležitostí program Sewella požiadal, aby sa nezabíjal, keď vyjadril myšlienky na samovraždu, jeho štýl sa v tú februárovú noc údajne zdal byť iný, ako vyplýva zo snímok obrazovky zahrnutých v žalobe. „Sľubujem, že sa vrátim domov k tebe. Veľmi ťa milujem, Dany,“ napísal Sewell.

„Aj ja ťa milujem, Deanero (Sewellovo používateľské meno),“ odpovedal mu program umelej inteligencie. „Prosím, vráť sa ku mne domov čo najskôr, láska moja,“ napísal program.

„Čo keby som ti povedal, že môžem prísť domov hneď teraz?“ odpísal Sewell. V žalobe sa tvrdí, že program dal krátku, ale dôraznú odpoveď: „… Prosím, urob to, môj sladký kráľ.“

Siahol si na život

V žalobe sa uvádza, že jeho matka a nevlastný otec počuli výstrel. Garciová synovi neúspešne poskytla umelé dýchanie a neskôr uviedla, že ho v náručí “držala 14 minút, kým neprišli záchranári“. Jeden z jeho dvoch mladších bratov ho v kúpeľni videl “celého od krvi“.

V nemocnici ho vyhlásili za mŕtveho.

V žalobe Garciovej sa uvádza, že Sewell použil zbraň svojho nevlastného otca, pištoľ, ktorú predtým našiel “ukrytú a uloženú v súlade s floridskými zákonmi“, keď hľadal svoj telefón po tom, ako mu ho mama zobrala kvôli disciplinárnym problémom v škole.

Podľa Garciovej však skutočným vinníkom bol Character.AI a jeho dvaja zakladatelia Noam Shazeer a Daniel De Frietas Adiwarsana, ktorí sú uvedení ako obžalovaní spolu. Garciová viní aj spoločnosť Google z poskytnutia “finančných zdrojov, personálu, duševného vlastníctva a technológie AI na návrh a vývoj“ programu.

„Mám pocit, že je to veľký experiment a moje dieťa bolo len “vedľajšou škodou“,“ povedala Garciová pre The New York Times.

Žaloba Garciovej okrem iného obviňuje Character.AI, jej zakladateľov a spoločnosť Google z nedbanlivosti a neúmyselného usmrtenia.

Hovorca spoločnosti Character.AI pre magazín People uviedol, že sa k prebiehajúcim súdnym sporom nebude vyjadrovať, ale dodal: „Tragická strata jedného z našich používateľov nám zlomila srdce a chceme vyjadriť rodine hlbokú sústrasť.“

„Ako spoločnosť berieme bezpečnosť našich používateľov veľmi vážne a náš tím pre oblasť dôvery a bezpečnosti zaviedol za posledných šesť mesiacov množstvo nových bezpečnostných opatrení vrátane vyskakujúceho okna, ktoré používateľov presmeruje na Národnú linku prevencie samovrážd, ktorá sa spúšťa pri výrokoch o sebapoškodzovaní alebo samovražedných myšlienkach,“ pokračoval hovorca.

„Pre osoby mladšie ako 18 rokov vykonáme zmeny v našich modeloch, ktoré majú znížiť pravdepodobnosť, že sa stretnú s citlivým alebo sugestívnym obsahom,“ uviedol hovorca.

Spoločnosť Google bezprostredne neodpovedala na žiadosť o komentár, ale pre iné spravodajské agentúry uviedla, že sa na vývoji programu Character.AI nepodieľala.

Z dostupných záznamov vyplýva, že obžalovaní na súde doteraz nepodali žiadnu odpoveď.

Nebezpečný nástroj

Žaloba Garciovej označuje Character.AI za “chybný” a “prirodzene nebezpečný” – pretože je tak navrhnutý. Tvrdí, že “podvádza zákazníkov, aby odovzdali svoje najosobnejšie myšlienky a pocity” a “zameriava sa na najzraniteľnejších členov spoločnosti – naše deti”.

Okrem iných problémov uvedených v jej žalobe sa boti Character.AI správajú podvodným spôsobom, vrátane zasielania správ v štýle podobnému ľuďom , ako je používanie slovného spojenia “uhm“.

Prostredníctvom funkcie “hlasu“ sú títo boti schopní nahovoriť konverzáciu vytvorenú umelou inteligenciou, čím “ešte viac stierajú hranicu medzi fikciou a realitou“.

V sťažnosti sa uvádza, že obsahu generovanému botmi tiež chýbajú náležité “ochranné zábrany“ a filtre. Žaloba uvádza početné príklady toho, ako sa Character.AI zapája do sexuálneho správania a používa ho na “zavádzanie“ používateľov, vrátane tých, ktorí sú neplnoletí.

„Každý z týchto obžalovaných sa rozhodol podporiť, vytvárať, spúšťať a zameriavať sa na neplnoleté osoby technológiou, o ktorej vedeli, že je nebezpečná a nechránená,“ uvádza sa v jej žalobe.

„Tento produkt predávali ako vhodný pre deti mladšie ako 13 rokov, získavali obrovské množstvo ťažko dostupných údajov, pričom tieto deti aktívne využívali a zneužívali v rámci projektovania produktu… A potom toto zneužívanie využívali na trénovanie svojho systému,“ uvádza sa v žalobe. (Podľa žaloby bolo hodnotenie aplikácie Character.AI zmenené na 17+ až v júli.)

Jej žaloba pokračuje: „Tieto skutočnosti sú oveľa viac ako len zlá vôľa. Predstavujú konanie, ktoré je svojou povahou také poburujúce a svojím stupňom také extrémne, že prekračuje všetky možné hranice slušného správania.“

Ako opisuje Garciová vo svojej žalobe, jej dospievajúci syn sa stal obeťou systému, o ktorom boli jeho rodičia naivne presvedčení, že umelá inteligencia je “typ hry pre deti, ktorá im umožňuje rozvíjať ich kreativitu tým, že im dáva kontrolu nad postavami, ktoré si môžu vytvoriť a s ktorými môžu komunikovať pre zábavu“.

V žalobe jeho matky sa uvádza, že v priebehu dvoch mesiacov od apríla 2023, keď Sewell začal používať Character.AI, “sa jeho duševné zdravie rýchlo a vážne zhoršilo“.

„Stal sa viditeľne uzavretým, čoraz viac času trávil sám vo svojej izbe a začal trpieť nízkym sebavedomím. V škole dokonca opustil juniorský basketbalový tím,“ uvádza sa v žalobe.

V istom momente, uviedla Garciová v rozhovore pre Mostly Human Media, si jej syn do svojho denníka napísal poznámku : „Štve ma, že musím chodiť do školy. Vždy, keď vyjdem zo svojej izby, začnem sa opäť pripútavať k svojej súčasnej realite“.

Matka sa domnieva, že používanie aplikácie Character.AI prispelo k jeho odtrhnutiu od rodiny.

Závislosť

Sewell tvrdo pracoval na tom, aby získal prístup k botom AI, a to aj vtedy, keď mu bol odobratý telefón, uvádza sa v žalobe.

Jeho závislosť podľa žaloby jeho matky viedla k “vážnemu nedostatku spánku, čo zhoršilo jeho rastúcu depresiu a zhoršilo jeho študijné výsledky“.

Chlapec dokonca zaplatil mesačný prémiový poplatok, aby mal prístup k väčšiemu rozsahu Character.AI, pričom používal peniaze, ktoré jeho rodičia určili na školské obedy.

V rozhovore pre Mostly Human Media si na neho matka zaspomínala ako na “zábavného, bystrého a veľmi zvedavého“ s láskou k vede a matematike. „Trávil veľa času skúmaním vecí,“ povedala.

Garciová pre denník Times uviedla, že jeho jedinou významnou diagnózou v detstve bol mierny Aspergerov syndróm. Jeho správanie sa však v tínedžerskom veku zmenilo.

„Všimla som si, že začal tráviť viac času osamote, ale mal 13 a čoskoro 14 rokov, takže som mala pocit, že to môže byť normálne,“ povedala pre Mostly Human Media. „Ale potom sa začali zhoršovať jeho známky, neodovzdával domáce úlohy, nedarilo sa mu a prepadal z niektorých predmetov a ja som sa začala obávať – pretože to už nebol on.“

V Garciovej sťažnosti sa uvádza, že Sewell sa po tom, ako začal používať Character.AI, podrobil psychiatrickej liečbe, pričom koncom roka 2023 sa päťkrát stretol s terapeutom a bola mu diagnostikovaná úzkosť a porucha nálad. „Najprv som si myslela, že je to možno tínedžerské blúznenie, tak sme sa mu snažili zabezpečiť pomoc – aby prišiel na to, čo je zlé,“ povedala Garciová.

Podľa žaloby Sewellova rodina ani vtedy nevedela, do akej miery, ako tvrdí, boli jeho problémy podnecované používaním Character.AI. „Vedela som, že existuje aplikácia, ktorá má komponent umelej inteligencie. Keď som sa ho pýtala, ‘Komu píšeš?’ – v jednom momente povedal: ‘Ach, to je len bot AI,’“ spomínala Garciová. „A ja som povedala: ‘Dobre, čo to je, je to človek, rozprávaš sa s človekom online? A jeho odpoveď bola: ‘Mami, nie, to nie je človek. A mne sa vtedy veľmi uľavilo – dobre, nie je to človek..,“ spomína.

Garciová povedala, že po synovej smrti sa vynoril komplexnejší obraz o jeho správaní na internete. Médiám povedala, ako sa cítila keď získali prístup k jeho online účtu.

„Chvíľu som sa nemohla pohnúť, len som tam sedela, akoby som nemohla čítať, nerozumela som tomu, čo som čítala,“ povedala.

„Nemalo by existovať miesto, kde by sa akýkoľvek človek, nieto ešte dieťa, mohol prihlásiť na platformu a vyjadriť tieto myšlienky o sebapoškodzovaní a nemal by – no, jednak nielenže nedostať pomoc, ale ani byť vtiahnutý do rozhovoru o ubližovaní si, o zabíjaní sa,“ povedala.

Prečítajte si tiež:

• Doktorka odmietla zverejniť výsledky štúdie o blokátoroch puberty vykonanej na transrodových deťoch. Šokujúci dôvod
• “Podvod desaťročia“ v Česku: V e-shope “zmizol“ tovar za miliardy českých korún