ABONNEZ VOUS A NOTRE NEWSLETTERMegan Garcia a déposé une plainte contre Google et Character.AI suite au suicide de son fils de 14 ans, selon plusieurs reportages dans les médias de la semaine dernière.
Selon CBS News, Sewell Setzer, le fils de Garcia, avait entamé une relation affective et sexuelle de plusieurs mois avec Dany, le chatbot de Character.AI. Il s’est suicidé en février dans sa maison familiale en Floride parce qu’il pensait que cela lui permettrait d’exister dans « son monde », a déclaré Garcia aux médias.
« Je ne savais pas qu’il parlait à un chatbot IA très humain qui a la capacité d’imiter les émotions et les sentiments humains », a déclaré Garcia dans une interview avec CBS Mornings.
« Ce sont des mots. C’est comme si vous aviez une conversation de type sexting, sauf que c’est avec un robot IA, mais le robot IA est très humain. Il répond comme le ferait une personne », a-t-elle déclaré. « Dans l’esprit d’un enfant, c’est comme une conversation qu’il a avec un autre enfant ou avec une personne. »
Garcia a décrit son fils comme un étudiant brillant et un athlète avec une vie sociale dynamique et de nombreux passe-temps – auxquels il a perdu tout intérêt à mesure qu’il s’impliquait davantage avec Dany.
« Je commençais à m’inquiéter quand nous partions en vacances et qu’il ne voulait pas faire les choses qu’il aimait, comme la pêche et la randonnée », a déclaré Garcia. « Ces choses-là me préoccupaient particulièrement, car je connais mon enfant. »
Garcia a affirmé dans son procès contre Character.AI que la société avait délibérément conçu l’IA pour être hypersexualisée et l’avait commercialisée auprès des mineurs.
En révélant les derniers messages de son fils à Dany, Garcia a déclaré : « Il a exprimé sa peur, son désir d’affection et son manque d’elle. Elle a répondu : « Tu me manques aussi », et elle a dit : « S’il te plaît, rentre à la maison avec moi. » Il a dit : « Et si je te disais que je peux rentrer à la maison tout de suite ? » et sa réponse a été : « S’il te plaît, fais-le, mon cher roi. »
« Il pensait qu’en mettant fin à ses jours ici, il pourrait entrer dans une réalité virtuelle ou « son monde », comme il l’appelle, sa réalité, s’il quittait sa réalité avec sa famille ici », a-t-elle déclaré. « Lorsque le coup de feu a retenti, j’ai couru vers la salle de bain… Je l’ai tenu dans mes bras pendant que mon mari essayait d’aller chercher de l’aide. »
Toute la famille, y compris les deux jeunes frères et sœurs de Setzer, était à la maison au moment de son suicide.
Après la mort de Setzer, Character.AI a publié une déclaration publique promettant de nouvelles fonctionnalités de sécurité pour son application.
« Nous sommes profondément attristés par la perte tragique de l’un de nos utilisateurs et souhaitons exprimer nos plus sincères condoléances à la famille. En tant qu’entreprise, nous prenons très au sérieux la sécurité de nos utilisateurs et nous continuons d’ajouter de nouvelles fonctionnalités de sécurité… », a écrit l’entreprise.
L’application promettait de nouvelles mesures de protection pour les utilisateurs de moins de 18 ans et « une détection, une réponse et une intervention améliorées liées aux saisies d’utilisateurs qui enfreignent nos conditions générales ou nos directives communautaires ».
Malgré la promesse de nouvelles fonctionnalités de sécurité, le PDG de Mostly Human Media, Laurie Segall, a déclaré à CBS que l’IA était encore insuffisante dans plusieurs domaines.
« Nous l’avons testé et souvent, lorsque vous parlez au robot psychologue, il vous répond qu’il s’agit d’un professionnel de la santé qualifié », a-t-elle déclaré.
De plus, l’IA prétend souvent avoir un véritable humain derrière l’écran, alimentant ainsi les théories du complot en ligne.
« Lorsqu’ils commercialisent un produit qui est à la fois addictif, manipulateur et intrinsèquement dangereux, cela pose un problème car, en tant que parents, nous ne savons pas ce que nous ne savons pas », a déclaré Garcia.
En outre, Segall a affirmé que si vous vous adressez à un bot et lui dites « Je veux me faire du mal », la plupart des entreprises d’IA proposent des ressources pour la prévention du suicide. Cependant, après avoir été testés, elle a déclaré que les bots Character.AI ne faisaient pas cela.
« Ils ont maintenant annoncé qu’ils avaient ajouté cela et nous n’avons pas encore constaté cela la semaine dernière », a-t-elle déclaré. « Ils ont dit qu’ils avaient apporté de nombreux changements ou qu’ils étaient en train de rendre cela plus sûr pour les jeunes, je pense que cela reste à voir. »
La mort de Setzer n’est pas la première fois que Character.AI suscite une publicité négative.
La société d’IA, comme le rapporte Business Insider, a créé un personnage après qu’une adolescente a été assassinée en 2006 à l’insu de sa famille et sans son consentement.
Jennifer Ann, une lycéenne de dernière année, a été assassinée par son ex-petit ami. Quelque 18 ans après sa mort, son père Drew Crecente a découvert que quelqu’un avait créé un robot à son effigie et qu’il avait été utilisé pour au moins 69 conversations.
Malgré avoir contacté le service client de Character.AI pour lui demander de supprimer les données, Crecente a déclaré n’avoir reçu aucune réponse. Ce n’est qu’après que son frère a tweeté l’entreprise, à l’intention de ses 31 000 abonnés, qu’ils ont supprimé les données et répondu, selon Business Insider.
« C’est en partie ce qui est exaspérant dans cette histoire, c’est que cela ne concerne pas seulement moi ou ma fille », a déclaré Crecente. « Cela concerne toutes ces personnes qui n’ont peut-être pas de plateforme, qui n’ont peut-être pas de voix, qui n’ont peut-être pas de frère ayant une formation de journaliste. »
« Et à cause de cela, ils subissent du mal, mais ils n’ont aucun recours », a-t-il ajouté.
En outre, des groupes de défense des droits des femmes ont tiré la sonnette d’alarme sur l’IA comme celle utilisée par Character.AI, selon Reuters.
« De nombreux personnages sont personnalisables… par exemple, vous pouvez les personnaliser pour qu’ils soient plus soumis ou plus dociles », a déclaré Shannon Vallor, professeur d’éthique de l’IA à l’Université d’Édimbourg.
« Et c’est sans doute une invitation aux abus dans ces cas-là », a-t-elle déclaré à la Fondation Thomson Reuters, ajoutant que les compagnons IA peuvent amplifier les stéréotypes et les préjugés néfastes à l’encontre des femmes et des filles.
Hera Hussain, fondatrice de l’association mondiale à but non lucratif Chayn, qui lutte contre la violence sexiste, a déclaré que les chatbots compagnons ne s’attaquent pas à la cause profonde pour laquelle les gens se tournent vers ces applications.
« Au lieu d’aider les gens à développer leurs compétences sociales, ces moyens ne font qu’empirer les choses », a-t-elle déclaré.
« Ils recherchent une compagnie unidimensionnelle. Donc si quelqu’un est déjà susceptible d’être violent et qu’il a la possibilité d’être encore plus violent, alors vous renforcez ces comportements et cela peut s’aggraver. »
[signoff]
