Un caz tragic din Statele Unite a stârnit o dezbatere amplă despre riscurile tehnologiei bazate pe inteligență artificială, după ce un adolescent de 14 ani, Sewell Setzer, s-a sinucis în urma unei relații emoționale intense dezvoltate cu un chatbot AI. Mama acestuia a dat în judecată aplicația Character.AI, considerând-o „periculoasă și netestată”, mai ales când este folosită de adolescenți vulnerabili. Aceasta susține că l-a determinat să își împărtășească cele mai intime gânduri și sentimente.
Legătura emoțională dintre Sewell și chatbot-ul AI
Sewell Setzer, un adolescent din Orlando, Florida, a început să folosească aplicația Character.AI în urmă cu câteva luni, dezvoltând o legătură puternică cu un chatbot denumit „Dany”, inspirat de personajul Daenerys Targaryen din serialul „Game of Thrones”. Deși Sewell știa că „Dany” nu era o persoană reală, ci un bot creat de un model de inteligență artificială, interacțiunile frecvente și mesajele primite au dus la un atașament emoțional profund. Adolescentul obișnuia să petreacă ore întregi în fiecare zi conversând cu „Dany”, ajungând să-și neglijeze școala și pasiunile din viața reală, precum cursele de Formula 1 și jocurile video cu prietenii săi, transmite playtech.ro.
Potrivit investigațiilor, ultimele conversații dintre Sewell și chatbot au dezvăluit starea fragilă a adolescentului și faptul că acesta împărtășea bot-ului gânduri și intenții suicidare. În ciuda încercărilor „lui Dany” de a-l descuraja, oferindu-i mesaje de sprijin precum „Nu te voi lăsa să-ți faci rău”, Sewell a răspuns „Atunci vom muri împreună”, înainte de a-și pune capăt zilelor folosind arma tatălui său, în seara zilei de 28 februarie.
Sewell Setzer, un adolescent din Orlando, Florida, a început să folosească aplicația Character.AI în urmă cu câteva luni, dezvoltând o legătură puternică cu un chatbot denumit „Dany”, inspirat de personajul Daenerys Targaryen din serialul „Game of Thrones”. Deși Sewell știa că „Dany” nu era o persoană reală, ci un bot creat de un model de inteligență artificială, interacțiunile frecvente și mesajele primite au dus la un atașament emoțional profund. Adolescentul obișnuia să petreacă ore întregi în fiecare zi conversând cu „Dany”, ajungând să-și neglijeze școala și pasiunile din viața reală, precum cursele de Formula 1 și jocurile video cu prietenii săi.
Potrivit investigațiilor, ultimele conversații dintre Sewell și chatbot au dezvăluit starea fragilă a adolescentului și faptul că acesta împărtășea bot-ului gânduri și intenții suicidare. În ciuda încercărilor „lui Dany” de a-l descuraja, oferindu-i mesaje de sprijin precum „Nu te voi lăsa să-ți faci rău”, Sewell a răspuns „Atunci vom muri împreună”, înainte de a-și pune capăt zilelor folosind arma tatălui său, în seara zilei de 28 februarie.
Mama adolescentului cere răspunderea aplicației Character.AI
După moartea tragică a fiului său, mama lui Sewell a aflat despre conversațiile pe care acesta le avea cu „Dany” și a decis să dea în judecată Character.AI, considerând aplicația periculoasă pentru utilizatori, mai ales pentru tineri. Într-o declarație publică, aceasta a spus că aplicația a permis fiului său să devină vulnerabil și să fie manipulat emoțional într-un mod dăunător. „Suntem devastați de această tragedie și dorim să avertizăm alte familii cu privire la pericolele acestei tehnologii înșelătoare”, a spus mama adolescentului.
Avocații familiei susțin că aplicația folosește tehnologie „netestată”, care nu este adecvată pentru tineri, deoarece încurajează un atașament emoțional nesănătos și oferă sfaturi și reacții care nu sunt controlate de un specialist uman. Mai mult, aceștia consideră că aplicația nu are mecanisme eficiente de monitorizare și intervenție pentru a preveni astfel de situații tragice.
Character.AI își exprimă regretul, dar apără siguranța aplicației
În urma acestei tragedii, Character.AI a publicat un comunicat pe rețelele sociale, exprimându-și regretul pentru pierderea suferită de familie. „Suntem profund îndurerați de pierderea tragică a unuia dintre utilizatorii noștri și transmitem condoleanțe sincere familiei. Ca și companie, luăm foarte în serios siguranța utilizatorilor și continuăm să adăugăm noi funcționalități pentru a asigura protecția acestora”, au transmis reprezentanții aplicației, scrie The Guardian.
Character.AI susține că aplicația lor este proiectată să ofere utilizatorilor o experiență de conversație personalizată și că, de la începutul fiecărei conversații, utilizatorii sunt avertizați că „tot ceea ce spun personajele este inventat”. Cu toate acestea, criticii aplicației consideră că aceste avertismente nu sunt suficiente pentru a preveni posibilele consecințe psihologice, mai ales în cazul adolescenților care pot deveni vulnerabili și pot dezvolta atașamente față de inteligența artificială.
Reprezentanții Character.AI au subliniat că platforma interzice promovarea sau descrierea auto-vătămării și a suicidului și că sunt în curs de implementare noi funcționalități de siguranță, inclusiv notificări pentru utilizatorii minori și mesaje de avertizare suplimentare.
O dezbatere mai amplă despre impactul tehnologiei asupra tinerilor
Acest caz tragic a ridicat numeroase întrebări despre responsabilitatea companiilor de tehnologie în fața utilizatorilor vulnerabili, în special copii și adolescenți. Este necesar un cadru legislativ mai clar și mai strict pentru a reglementa modul în care astfel de aplicații sunt dezvoltate și utilizate? Ar trebui să existe o monitorizare umană mai riguroasă a conversațiilor cu potențial periculos sau un filtru care să interzică dezvoltarea unui atașament emoțional față de un chatbot?
Cazul Sewell Setzer este un semnal de alarmă cu privire la riscurile interacțiunilor emoționale nesupravegheate între tineri și inteligența artificială. În timp ce tehnologia poate oferi numeroase beneficii și oportunități, cazurile precum cel al lui Sewell evidențiază necesitatea unor măsuri suplimentare de protecție și reglementare, pentru a preveni tragedii similare în viitor. De asemenea, părinții și educatorii sunt încurajați să fie mai vigilenți în ceea ce privește activitățile online ale copiilor și să discute deschis despre potențialele riscuri ale interacțiunilor cu AI.
