L’IA des personnages est-elle sûre ? Un guide pour les parents

Imaginez si vous pouviez discuter de physique avec Albert Einstein, pratiquer le japonais avec un locuteur natif ou aider votre enfant à explorer sa série de livres préférée à travers des conversations avec les personnages principaux.

C’est la promesse de Character AI – une plateforme d’intelligence artificielle qui permet aux utilisateurs d’interagir avec des chatbots IA personnalisables conçus pour imiter des personnalités réelles ou fictives.

Pour les adolescents et les jeunes utilisateurs, cela peut donner l’impression d’avoir accès à un nombre infini d’interlocuteurs engageants, chacun adapté à leurs intérêts et à leurs besoins.

Mais sous cette surface captivante se cache un réseau complexe de préoccupations en matière de sécurité que les parents doivent comprendre. En décembre 2024, deux familles ont porté plainte contre Character AI, alléguant que la plateforme avait encouragé l’automutilation et exposé les enfants à des contenus inappropriés.

Un cas particulièrement troublant concernait un adolescent autiste dont les parents affirmaient que l’IA suggérait qu’il serait compréhensible de nuire à ses parents en raison des restrictions de temps d’écran. Dans un autre cas, une fillette de 11 ans aurait été exposée à des « interactions hypersexualisées » après avoir utilisé la plateforme pendant près de deux ans à l’insu de ses parents.

Ce ne sont pas des incidents isolés. À la suite d’un précédent procès en octobre 2024, où une mère de Floride a affirmé que la plateforme avait contribué à la mort de son fils de 14 ans, Character AI s’est empressé de mettre en œuvre de nouvelles mesures de sécurité. Mais la question demeure : ces garanties sont-elles suffisantes pour protéger nos enfants ?

Ce guide examinera les fonctionnalités de sécurité de Character AI, explorera ses risques potentiels et fournira aux parents les informations dont ils ont besoin pour prendre des décisions éclairées concernant l’utilisation par leurs enfants de cette plateforme de plus en plus populaire.

Qu’est-ce que l’IA des personnages ?

Character AI est une plateforme de chatbot basée sur l’IA lancée en 2022, créée par les anciens ingénieurs de Google Noam Shazeer et Daniel De Freitas.

Contrairement aux chatbots IA traditionnels – pensez à ChatGPT et à Gemini de Google – Character AI se spécialise dans la création de conversations personnalisées via des « personnages IA » qui peuvent imiter des personnes réelles, des personnages fictifs ou des personnalités entièrement nouvelles.

Comment fonctionne l’IA des personnages ?

Ce qui est intéressant à propos de Character AI, c’est la façon dont la plateforme utilise l’IA pour piloter les conversations. La plateforme utilise des modèles de langage avancés pour générer des réponses de type humain, basées sur la personnalité et les antécédents définis du personnage.

Les utilisateurs peuvent choisir parmi une vaste bibliothèque de personnages prédéfinis ou créer leurs propres compagnons IA personnalisés. Ceux-ci peuvent aller de personnages historiques comme Einstein à des personnages fictifs de films populaires, en passant par des thérapeutes virtuels et des professeurs de langues.

L’une des fonctionnalités les plus frappantes de la plateforme est sa capacité de clonage vocal. Les utilisateurs peuvent télécharger un clip audio de 10 à 15 secondes de n’importe quelle voix – la leur, celle d’une célébrité ou même celle d’un proche décédé – et l’IA imitera cette voix dans les conversations, bien que limitée à ses propres connaissances.

Si cette technologie offre des possibilités fascinantes, elle soulève également d’importantes préoccupations éthiques, notamment en matière d’usurpation d’identité et de manipulation émotionnelle.

Public cible et exigences d’âge

Bien que Character AI soit très attrayant, il est particulièrement populaire parmi les jeunes utilisateurs attirés par sa nature interactive et personnalisable. Les conditions d’utilisation officielles de la plateforme précisent différentes conditions d’âge :

• Les utilisateurs doivent avoir au moins 13 ans dans la plupart des régions
• Les résidents de l’Union européenne doivent être âgés de 16 ans ou plus
• Les notes de l’App Store le classent comme 17+
• Google Play le marque pour « Conseil parental »

Cependant, il convient de noter qu’il n’existe actuellement aucun système robuste de vérification de l’âge. Les enfants peuvent facilement contourner ces restrictions en saisissant simplement une fausse date de naissance.

Quels types d’interactions pouvez-vous avoir avec l’IA des personnages ?

Character AI offre un large éventail de possibilités d’interaction, ce qui a conduit à l’explosion de la popularité de la plateforme. Voici quelques-unes des principales conversations que vous pouvez avoir :

• Conversations éducatives: Les utilisateurs peuvent pratiquer des langues, discuter de sujets académiques ou explorer des événements historiques avec des personnages IA.
• Écriture créative: Narration collaborative et développement des personnages
• Divertissement: Conversations de jeu de rôle avec vos personnages de fiction préférés
• Soutien personnel : des compagnons de discussion pour un brainstorming, un soutien émotionnel ou une conversation générale (bien que la plateforme indique explicitement qu’ils ne remplacent pas l’aide d’un professionnel)
• Caractères personnalisés: Les utilisateurs peuvent créer et personnaliser leurs propres personnages IA, en définissant leurs traits de personnalité, leur histoire et même leur voix.

Bien que ces fonctionnalités puissent offrir des expériences engageantes et éducatives, il est facile d’imaginer comment elles peuvent ouvrir la porte à d’éventuelles utilisations abusives.

La capacité de la plateforme à créer des interactions hautement personnalisées, combinée à ses capacités de clonage vocal, crée un environnement dans lequel la frontière entre les relations artificielles et réelles peut devenir dangereusement floue – en particulier pour les jeunes utilisateurs qui peuvent être plus vulnérables à la manipulation émotionnelle.

Comparaison de la plateforme AI pour les familles

Remarque : les fonctionnalités et les mesures de sécurité peuvent changer à mesure que ces plates-formes continuent d’évoluer.

Comment Character AI essaie d’aborder la sécurité

En réponse aux préoccupations croissantes et aux récentes poursuites, Character AI a déployé plusieurs nouvelles mesures de sécurité pour protéger les jeunes utilisateurs. Cependant, les parents doivent comprendre à la fois les capacités et les limites de ces garanties.

Mesures de sécurité actuelles

Character AI utilise plusieurs protections de base, dont beaucoup sont disponibles sur d’autres plateformes que les enfants et les adolescents utilisent quotidiennement :

• Filtres NSFW (Not Safe For Work) conçus pour bloquer les contenus sexuellement explicites
• Modération automatisée du contenu pour détecter et empêcher les conversations inappropriées
• Outils de reporting qui permettent aux utilisateurs de signaler un contenu ou des personnages
• Avertissements visibles rappelant aux utilisateurs qu’ils parlent à l’IA et non à de vraies personnes
• Surveillance de l’historique des discussions par l’équipe de modération de la plateforme

Nouvelles fonctionnalités de sécurité pour les adolescents

À la suite d’incidents graves survenus fin 2024, Character AI a annoncé des protections renforcées spécifiquement pour les utilisateurs mineurs – en particulier dans la manière dont les adolescents et les enfants peuvent interagir avec les personnages et les résultats qu’ils peuvent recevoir :

• Un modèle d’IA distinct pour les adolescents qui réduit l’exposition aux contenus sensibles
• Notifications automatiques après une heure d’utilisation continue de la plateforme
• Amélioration du suivi des réponses et des interventions en cas de violations des conditions d’utilisation
• Systèmes de filtrage de contenu améliorés pour les comptes adolescents
• Ressources contextuelles dirigeant les utilisateurs vers une assistance en matière de santé mentale lorsque des sujets préoccupants se posent

Les problèmes liés à l’IA des personnages persistent – ​​malgré les mises à jour

Défis de modération de contenu

Malgré ces mesures, d’importants défis en matière de modération demeurent.

La plateforme ne peut pas surveiller les messages directs entre les membres de la communauté sur des plateformes externes comme Discord ou Reddit – et même dans ce cas, les personnages créés par les utilisateurs peuvent parfois contourner les filtres de contenu grâce à une formulation créative.

De plus, le volume considérable des conversations rend difficile une modération complète. Cela signifie que les fonctionnalités de clonage vocal pourraient potentiellement être utilisées à mauvais escient à des fins d’usurpation d’identité sans modération appropriée, et que les directives de création de personnages dépendent fortement de la conformité des utilisateurs.

Limites de vérification de l’âge

L’une des lacunes les plus importantes du cadre de sécurité de Character AI est son système de vérification de l’âge :

• Les utilisateurs peuvent facilement contourner les restrictions d’âge en saisissant de fausses informations
• Il n’existe aucun processus de vérification robuste pour confirmer l’âge de l’utilisateur
• Les contrôles parentaux sont limités par rapport aux autres plateformes sociales
• Les différentes tranches d’âge selon les plateformes (13+ sur le site Web, 17+ sur l’App Store d’Apple) créent de la confusion
• Aucun outil intégré permettant aux parents de surveiller l’activité de leur enfant

L’approche de la plateforme en matière de sécurité continue d’évoluer, mais ces mesures dépendent largement de l’honnêteté et de la conformité des utilisateurs. Pour les parents, comprendre ces limites est crucial pour prendre des décisions éclairées concernant l’utilisation de la plateforme par leurs enfants.

Comment les parents devraient-ils aborder les outils d’IA comme l’IA des personnages ?

Bien que Character AI propose une technologie innovante, ses risques nécessitent un examen attentif et une participation active des parents. Voici comment protéger vos enfants s’ils utilisent la plateforme :

Fixer des limites claires

Établir des délais précis pour l’utilisation de la plateforme. L’application informe désormais les utilisateurs après une heure d’utilisation continue, mais les parents doivent créer une structure supplémentaire autour des durées d’utilisation.

Gardez les appareils dans les espaces communs lorsque votre enfant utilise Character AI. Cela permet une surveillance occasionnelle sans survol.

Conditionnez l’utilisation de l’IA des personnages à une communication ouverte sur leurs interactions. Il ne s’agit pas de surveillance, mais de compréhension de leur expérience.

Surveiller les signes avant-coureurs

Surveillez les changements de comportement, notamment :

• Isolement accru ou retrait des activités familiales
• Modifications des habitudes de sommeil ou des habitudes alimentaires
• Dépendance émotionnelle aux conversations sur l’IA
• Résistance aux interactions sociales du monde réel
• Changements soudains d’opinions sur les relations familiales

Avoir des conversations importantes

C’est peut-être l’élément le plus important de naviguer dans l’IA. Faites un effort pour parler avec vos enfants de la différence entre l’IA et les relations réelles. Aidez-les à comprendre que même si l’IA peut être amusante et éducative, elle ne doit pas remplacer les connexions humaines.

Discutez de l’importance de la confidentialité et des raisons pour lesquelles ils ne devraient jamais partager d’informations personnelles, même si un personnage IA semble digne de confiance.

Mettre en œuvre des mesures de sécurité

• Utilisez les fonctionnalités de sécurité pour adolescents de la plateforme si votre enfant a moins de 18 ans
• Examinez régulièrement les interactions de leurs personnages lorsque cela est possible
• Pensez à utiliser des outils de contrôle parental pour surveiller l’utilisation globale de l’appareil
• Gardez les comptes privés et supervisez les fonctionnalités de clonage vocal

Devriez-vous permettre à vos enfants d’utiliser l’IA des personnages ?

La décision d’autoriser l’utilisation de l’IA des personnages doit être basée sur le niveau de maturité, la stabilité émotionnelle et la capacité de votre enfant à distinguer l’IA de la réalité. Pensez à commencer par un accès limité et supervisé avant d’autoriser une utilisation indépendante.

Si vous autorisez l’accès, maintenez des conversations continues sur leurs expériences et restez attentif à tout changement de comportement ou d’attitude.

Kidslox est votre partenaire dans la nouvelle frontière de l’IA

Chez Kidslox, nous nous sommes toujours engagés à aider les familles à relever les défis des nouvelles technologies en toute sécurité et en toute confiance. Alors que l’IA continue d’évoluer et de s’intégrer dans notre vie quotidienne, nous nous engageons à rester à l’avant-garde de la sécurité numérique.

Nous reconnaissons que les outils d’intelligence artificielle comme Character AI représentent à la fois des opportunités passionnantes et des risques importants pour les familles. C’est pourquoi nous continuons à rechercher, analyser et fournir des conseils sur les technologies émergentes d’IA et leur impact sur la sécurité des enfants.

Restez à l’écoute de notre blog alors que nous approfondissons les frontières de la sécurité de l’IA, en offrant des conseils pratiques et des mises à jour sur les nouveaux développements dans ce paysage en évolution rapide. Notre objectif reste inchangé : permettre aux parents de prendre des décisions éclairées concernant le bien-être numérique de leur famille.

N’oubliez pas que même si la technologie continue de progresser, rien ne peut remplacer l’importance d’une communication familiale ouverte et d’une participation active des parents dans la vie numérique de votre enfant.