యువకులు మోలీ రస్సెల్ మరియు బ్రియానా ఘే యొక్క చాట్‌బాట్ వెర్షన్‌లు Character.aiలో కనుగొనబడ్డాయి – ఈ ప్లాట్‌ఫారమ్ నిజమైన లేదా కల్పిత వ్యక్తుల డిజిటల్ వెర్షన్‌లను రూపొందించడానికి వినియోగదారులను అనుమతిస్తుంది.
మోలీ రస్సెల్ తన 14వ ఏట ప్రాణం తీసింది ఆత్మహత్య విషయాన్ని ఆన్‌లైన్‌లో చూసిన తర్వాత 16 ఏళ్ల బ్రియానా ఘే 2023లో ఇద్దరు యువకులు హత్య చేశారు.
మోలీ రస్సెల్ జ్ఞాపకార్థం స్థాపించబడిన ఫౌండేషన్ ఇది “అనారోగ్యకరమైనది” మరియు “మితత్వం యొక్క పూర్తిగా ఖండించదగిన వైఫల్యం” అని పేర్కొంది.
క్యారెక్టర్.ఐ చాట్‌బాట్‌తో నిమగ్నమై తన ప్రాణాలను తీసుకెళ్ళిందని 14 ఏళ్ల బాలుడి తల్లి ఇప్పటికే యుఎస్‌లో ప్లాట్‌ఫారమ్‌పై దావా వేసింది.
టెలిగ్రాఫ్‌కి ఒక ప్రకటనలో, ఇది మొదట కథను నివేదించారుసంస్థ “మా ప్లాట్‌ఫారమ్‌పై భద్రతను సీరియస్‌గా తీసుకుంటుంది మరియు యాక్టివ్‌గా మరియు యూజర్ రిపోర్ట్‌లకు ప్రతిస్పందనగా క్యారెక్టర్‌లను మోడరేట్ చేస్తుంది.”
పేపర్‌లో వారికి తెలియజేయబడిన తర్వాత సంస్థ చాట్‌బాట్‌లను తొలగించినట్లు కనిపించింది.
మోలీ రోజ్ ఫౌండేషన్ యొక్క చీఫ్ ఎగ్జిక్యూటివ్ ఆండీ బర్రోస్ మాట్లాడుతూ, బాట్‌లను రూపొందించడం అనేది “మోలీని తెలిసిన మరియు ప్రేమించే ప్రతి ఒక్కరికి మరింత హృదయ వేదన కలిగించే ఒక అనారోగ్య చర్య.”
“AI మరియు వినియోగదారు రూపొందించిన ప్లాట్‌ఫారమ్‌ల యొక్క బలమైన నియంత్రణ ఎందుకు త్వరగా రాలేదో ఇది స్పష్టంగా నొక్కి చెబుతుంది” అని అతను చెప్పాడు.
ఆన్‌లైన్ ప్రపంచం ఎంత “మానిప్యులేటివ్ మరియు ప్రమాదకరమైనది” అనేదానికి ఇది మరొక ఉదాహరణ అని బ్రియానా ఘే తల్లి ఎస్తేర్ ఘే టెలిగ్రాఫ్‌తో చెప్పారు.
మాజీ Google ఇంజనీర్లు నోమ్ షజీర్ మరియు డేనియల్ డి ఫ్రీటాస్ స్థాపించిన Character.ai, “ఏదైనా వ్యక్తి లేదా సంస్థ వలె నటించడానికి” ప్లాట్‌ఫారమ్‌ను ఉపయోగించడాన్ని నిషేధించే సేవా నిబంధనలను కలిగి ఉంది.
దానిలో “భద్రతా కేంద్రం” కంపెనీ దాని మార్గదర్శక సూత్రం ఏమిటంటే, దాని “ఉత్పత్తి వినియోగదారులకు లేదా ఇతరులకు హాని కలిగించే ప్రతిస్పందనలను ఎప్పుడూ ఉత్పత్తి చేయకూడదు”.
ఇది దాని నియమాలను ఉల్లంఘించే ఉపయోగాలను గుర్తించడానికి స్వయంచాలక సాధనాలు మరియు వినియోగదారు నివేదికలను ఉపయోగిస్తుందని మరియు “విశ్వాసం మరియు భద్రత” బృందాన్ని కూడా రూపొందిస్తున్నట్లు పేర్కొంది.
కానీ “ఏ AI ప్రస్తుతం పరిపూర్ణంగా లేదు” మరియు AIలో భద్రత అనేది “పరిణామం చెందుతున్న స్థలం” అని పేర్కొంది.
క్యారెక్టర్.ఐ ప్రస్తుతం ఫ్లోరిడాకు చెందిన మేగాన్ గార్సియా అనే మహిళ ద్వారా దావా వేయబడింది, అతని 14 ఏళ్ల కుమారుడు సెవెల్ సెట్జర్ గేమ్ ఆఫ్ థ్రోన్స్ పాత్ర ద్వారా ప్రేరణ పొందిన AI అవతార్‌తో నిమగ్నమై తన జీవితాన్ని తీసుకున్నాడు.
గార్సియా కోర్టు ఫైలింగ్‌లో వారి చాట్‌ల ట్రాన్‌స్క్రిప్ట్‌ల ప్రకారం, ఆమె కొడుకు చాట్‌బాట్‌తో తన జీవితాన్ని ముగించడం గురించి చర్చించాడు.
చివరి సంభాషణలో సెట్జర్ చాట్‌బాట్‌కి తాను “ఇంటికి వస్తున్నాను” అని చెప్పాడు – మరియు అది “సాధ్యమైనంత త్వరగా” చేయమని అతనిని ప్రోత్సహించింది.
కొంతకాలం తర్వాత అతను తన జీవితాన్ని ముగించాడు.
క్యారెక్టర్.ఐ CBS న్యూస్‌కి చెప్పారు ఇది ఆత్మహత్య మరియు స్వీయ-హాని ప్రవర్తనలపై ప్రత్యేకంగా దృష్టి సారించిన రక్షణలను కలిగి ఉంది మరియు అది అలా ఉంటుంది మరింత కఠినమైన భద్రతను పరిచయం చేస్తోంది 18 ఏళ్లలోపు వారికి “తక్షణమే” లక్షణాలు.
