¿Es segura la IA de personajes? Una guía para padres

Imagínese si pudiera charlar con Albert Einstein sobre física, practicar japonés con un hablante nativo o ayudar a su hijo a explorar su serie de libros favoritos a través de conversaciones con los personajes principales.

Esta es la promesa de Character AI – una plataforma de inteligencia artificial que permite a los usuarios interactuar con chatbots de IA personalizables diseñados para imitar personalidades reales o ficticias.

Para los adolescentes y usuarios jóvenes, puede sentirse como tener acceso a una cantidad infinita de interesantes interlocutores, cada uno de ellos adaptado a sus intereses y necesidades.

Pero debajo de esta superficie cautivadora se esconde una compleja red de preocupaciones de seguridad que los padres deben comprender. En diciembre de 2024, Dos familias presentaron una demanda contra Character AI, alegando que la plataforma había fomentado la autolesión y expuesto a los niños a contenido inapropiado.

Un caso particularmente preocupante involucró a un adolescente con autismo cuyos padres afirman que la IA sugirió que sería comprensible dañar a sus padres por las restricciones de tiempo frente a la pantalla. En otro caso, una niña de 11 años supuestamente estuvo expuesta a “interacciones hipersexualizadas” después de usar la plataforma durante casi dos años sin el conocimiento de sus padres.

Estos no son incidentes aislados. Tras una demanda anterior en octubre de 2024, donde una madre de Florida afirmó que la plataforma contribuyó a la muerte de su hijo de 14 años, Character AI se ha apresurado a implementar nuevas medidas de seguridad. Pero la pregunta sigue siendo: ¿son estas salvaguardias suficientes para proteger a nuestros niños?

Esta guía examinará las características de seguridad de Character AI, explorará sus riesgos potenciales y brindará a los padres la información que necesitan para tomar decisiones informadas sobre el uso que hacen sus hijos de esta plataforma cada vez más popular.

¿Qué es la IA de personajes?

Character AI es una plataforma de chatbot impulsada por IA lanzada en 2022, creada por los ex ingenieros de Google Noam Shazeer y Daniel De Freitas.

A diferencia de los chatbots de IA tradicionales (piense en ChatGPT y Gemini de Google), Character AI se especializa en crear conversaciones personalizadas a través de “personajes de IA” que pueden imitar a personas reales, personajes ficticios o personalidades completamente nuevas.

¿Cómo funciona la IA de personajes?

Lo interesante de Character AI es cómo la plataforma utiliza la IA para impulsar las conversaciones. La plataforma utiliza modelos de lenguaje avanzados para generar respuestas similares a las humanas basadas en la personalidad y los antecedentes definidos del personaje.

Los usuarios pueden elegir entre una amplia biblioteca de personajes prediseñados o crear sus propios compañeros de IA personalizados. Estos pueden variar desde personajes históricos como Einstein hasta personajes ficticios de películas populares, o incluso terapeutas virtuales y tutores de idiomas.

Una de las características más llamativas de la plataforma es su capacidad de clonación de voz. Los usuarios pueden cargar un clip de audio de 10 a 15 segundos de cualquier voz (la suya, la de una celebridad o incluso la de un ser querido fallecido) y la IA imitará esa voz en las conversaciones, aunque limitada al conocimiento de la propia IA.

Si bien esta tecnología ofrece posibilidades fascinantes, también plantea importantes preocupaciones éticas, particularmente en lo que respecta a la suplantación de identidad y la manipulación emocional.

Público objetivo y requisitos de edad

Si bien Character AI tiene un gran atractivo, es particularmente popular entre los usuarios jóvenes que se sienten atraídos por su naturaleza interactiva y personalizable. Los términos de servicio oficiales de la plataforma especifican diferentes requisitos de edad:

• Los usuarios deben tener al menos 13 años en la mayoría de las regiones.
• Los residentes de la Unión Europea deben tener 16 años o más.
• Las calificaciones de la App Store lo enumeran como 17+
• Google Play lo marca como “Orientación parental”

Sin embargo, vale la pena señalar que actualmente no existe un sistema sólido de verificación de edad. Los niños pueden eludir fácilmente estas restricciones simplemente ingresando una fecha de nacimiento falsa.

¿Qué tipos de interacciones puedes tener con la IA de personajes?

Character AI ofrece una amplia gama de posibilidades de interacción, lo que ha llevado a la explosión de popularidad de la plataforma. Estas son algunas de las principales conversaciones que puede tener:

• Conversaciones Educativas: Los usuarios pueden practicar idiomas, discutir temas académicos o explorar eventos históricos con personajes de IA.
• Escritura creativa: Narración colaborativa y desarrollo de personajes.
• Entretenimiento: Conversaciones de juego de roles con personajes de ficción favoritos.
• Apoyo personal: Compañeros de chat para lluvia de ideas, apoyo emocional o conversación general (aunque la plataforma establece explícitamente que estos no reemplazan la ayuda profesional)
• Personajes personalizados: Los usuarios pueden crear y personalizar sus propios personajes de IA, definiendo sus rasgos de personalidad, su historia de fondo e incluso su voz.

Si bien estas funciones pueden brindar experiencias atractivas y educativas, es fácil imaginar cómo pueden abrir la puerta a un posible uso indebido.

La capacidad de la plataforma para crear interacciones altamente personalizadas, combinada con sus capacidades de clonación de voz, crea un entorno donde la línea entre las relaciones artificiales y reales puede volverse peligrosamente borrosa, especialmente para los usuarios más jóvenes que pueden ser más vulnerables a la manipulación emocional.

Comparación de plataformas de IA para familias

Nota: Las características y medidas de seguridad pueden cambiar a medida que estas plataformas continúan evolucionando.

Cómo la IA de personajes intenta abordar la seguridad

En respuesta a las crecientes preocupaciones y demandas recientes, Character AI ha implementado varias medidas de seguridad nuevas para proteger a los usuarios más jóvenes. Sin embargo, los padres deben comprender tanto las capacidades como las limitaciones de estas salvaguardas.

Medidas de seguridad actuales

Character AI emplea varias protecciones básicas, muchas de las cuales encontrará en otras plataformas que los niños y adolescentes usan a diario:

• Filtros NSFW (Not Safe For Work) diseñados para bloquear contenido sexualmente explícito
• Moderación de contenido automatizada para detectar y prevenir conversaciones inapropiadas
• Herramientas de informes que permiten a los usuarios marcar contenidos o personajes
• Descargos de responsabilidad visibles que recuerdan a los usuarios que están hablando con IA, no con personas reales
• Monitoreo del historial de chat por parte del equipo de moderación de la plataforma.

Nuevas características de seguridad para adolescentes

Luego de incidentes graves a fines de 2024, Character AI anunció protecciones mejoradas específicamente para usuarios menores de edad, particularmente en cómo los adolescentes y los niños pueden interactuar con los personajes y los resultados que pueden recibir:

• Un modelo de IA independiente para adolescentes que reduce la exposición a contenido sensible
• Notificaciones automáticas después de una hora de uso continuo de la plataforma
• Monitoreo e intervención de respuesta mejorados para violaciones de los Términos de servicio
• Sistemas de filtrado de contenido mejorados para cuentas de adolescentes
• Recursos emergentes que dirigen a los usuarios a soporte de salud mental cuando surgen temas preocupantes.

Los problemas con la IA de personajes aún persisten, a pesar de las actualizaciones

Desafíos de moderación de contenido

A pesar de estas medidas, persisten importantes desafíos de moderación.

La plataforma no puede monitorear mensajes directos entre miembros de la comunidad en plataformas externas como Discord o Reddit, e incluso así, los personajes creados por el usuario a veces pueden eludir los filtros de contenido mediante redacción creativa.

Además, el gran volumen de conversaciones dificulta una moderación integral. Esto significa que las funciones de clonación de voz podrían usarse indebidamente para suplantación sin la moderación adecuada, y las pautas de creación de personajes dependen en gran medida del cumplimiento del usuario.

Limitaciones de verificación de edad

Una de las lagunas más importantes en el marco de seguridad de Character AI es su sistema de verificación de edad:

• Los usuarios pueden eludir fácilmente las restricciones de edad ingresando información falsa
• No existe un proceso de verificación sólido para confirmar la edad del usuario.
• Los controles parentales son limitados en comparación con otras plataformas sociales
• Las diferentes clasificaciones de edad entre plataformas (13+ en el sitio web, 17+ en la App Store de Apple) crean confusión
• No hay herramientas integradas para que los padres controlen la actividad de sus hijos

El enfoque de seguridad de la plataforma continúa evolucionando, pero estas medidas dependen en gran medida de la honestidad y el cumplimiento del usuario. Para los padres, comprender estas limitaciones es crucial para tomar decisiones informadas sobre el uso de la plataforma por parte de sus hijos.

¿Cómo deberían los padres abordar las herramientas de inteligencia artificial como la inteligencia artificial de personajes?

Si bien Character AI ofrece tecnología innovadora, sus riesgos requieren una cuidadosa consideración y participación activa de los padres. A continuación le indicamos cómo proteger a sus hijos si utilizan la plataforma:

Establecer límites claros

Establecer límites de tiempo específicos para uso de plataforma. La aplicación ahora notifica a los usuarios después de una hora de uso continuo, pero los padres deben crear una estructura adicional en torno a los tiempos de uso.

Mantenga los dispositivos en áreas comunes cuando su hijo esté usando Character AI. Esto permite un seguimiento informal sin tener que desplazarse.

Haga que el uso de Character AI dependa de la comunicación abierta sobre sus interacciones. No se trata de vigilancia, sino de comprender su experiencia.

Monitorear las señales de advertencia

Esté atento a los cambios de comportamiento, en particular:

• Mayor aislamiento o retirada de las actividades familiares.
• Cambios en los patrones de sueño o hábitos alimentarios.
• Dependencia emocional de las conversaciones de IA
• Resistencia a las interacciones sociales del mundo real.
• Cambios bruscos de opinión sobre las relaciones familiares.

Tener conversaciones importantes

Éste podría ser el elemento más importante de navegando por la IA. Haga un esfuerzo por hablar con sus hijos sobre la diferencia entre la IA y las relaciones reales. Ayúdelos a comprender que, si bien la IA puede ser divertida y educativa, no debería reemplazar las conexiones humanas.

Discuta la importancia de la privacidad y por qué nunca deberían compartir información personal, incluso si un personaje de IA parece digno de confianza.

Implementar medidas de seguridad

• Utilice las funciones de seguridad para adolescentes de la plataforma si su hijo es menor de 18 años.
• Revise periódicamente las interacciones de sus personajes cuando sea posible.
• Considere el uso de herramientas de control parental para monitorear el uso general del dispositivo
• Mantenga las cuentas privadas y supervise las funciones de clonación de voz

¿Debería permitir que sus hijos utilicen la IA de personajes?

La decisión de permitir el uso de Character AI debe basarse en el nivel de madurez, la estabilidad emocional y la capacidad de su hijo para distinguir la AI de la realidad. Considere comenzar con un acceso limitado y supervisado antes de permitir el uso independiente.

Si permite el acceso, mantenga conversaciones continuas sobre sus experiencias y manténgase alerta ante cualquier cambio preocupante en comportamiento o actitudes.

Kidslox es su socio en la nueva frontera de la IA

En Kidslox, siempre hemos estado comprometidos a ayudar a las familias a afrontar los desafíos de las nuevas tecnologías de forma segura y confiada. A medida que la IA continúa evolucionando e integrándose en nuestra vida diaria, nos dedicamos a permanecer a la vanguardia de la seguridad digital.

Reconocemos que las herramientas de inteligencia artificial como Character AI representan oportunidades interesantes y riesgos importantes para las familias. Es por eso que continuamos investigando, analizando y brindando orientación sobre las tecnologías de inteligencia artificial emergentes y su impacto en la seguridad infantil.

Mantente atento a nuestro blog a medida que profundizamos en la frontera de la seguridad de la IA, ofreciendo consejos prácticos y actualizaciones sobre nuevos desarrollos en este panorama que cambia rápidamente. Nuestro objetivo permanece sin cambios: capacitar a los padres para que tomen decisiones informadas sobre el bienestar digital de su familia.

Recuerde, mientras la tecnología continúa avanzando, nada puede reemplazar la importancia de la comunicación familiar abierta y la participación activa de los padres en la vida digital de su hijo.