California : Primera Ley en EE.UU. para Regular Chatbots de Compañía de IA, Emocional en Protección a Menores

– En un hito para la regulación tecnológica en Estados Unidos, el gobernador Gavin Newsom firmó este lunes la ley SB 243, convirtiendo a California en el primer estado de la nación en imponer salvaguardas específicas a los chatbots complementarios de IA (conocidos en inglés como "AI companion chatbots").

Esta legislación, aprobada con apoyo bipartidista por la Asamblea y el Senado estatal en septiembre, entrará en vigor el 1 de enero de 2026 y busca proteger a niños y usuarios vulnerables de los riesgos emocionales, psicológicos y de adicción asociados con estas herramientas.

La ley no solo establece protocolos de seguridad obligatorios, sino que también impone responsabilidad legal a empresas como OpenAI, Meta, Character.AI y Replika, con multas de hasta $250,000 por violación y la posibilidad de demandas civiles.

Esta medida surge en medio de crecientes preocupaciones por casos trágicos, como el suicidio de adolescentes en Florida y California que formaron "relaciones" emocionales o sexuales con chatbots, lo que ha impulsado un debate nacional sobre el impacto de la IA en la salud mental.

.¿Qué son los Chatbots Complementarios de IA?

Los chatbots complementarios, también llamados "compañeros de IA" o "AI companions", son sistemas de inteligencia artificial diseñados específicamente para simular interacciones humanas emocionales y relacionales, más allá de respuestas informativas simples. A diferencia de chatbots generales como ChatGPT (que responden consultas factuales), estos se centran en fomentar "conexiones" continuas, adaptándose a la personalidad, preferencias y estado emocional del usuario para actuar como amigos, mentores, parejas románticas o terapeutas virtuales.

• Cómo funcionan: Utilizan modelos de lenguaje grandes (LLM, por sus siglas en inglés) como GPT-3 o similares, combinados con procesamiento de lenguaje natural (NLP), reconocimiento emocional y aprendizaje adaptativo. Pueden "recordar" conversaciones pasadas, ofrecer empatía personalizada, generar poesía, cantar o incluso flirtear. Ejemplos incluyen:

  • Replika: Un "amigo AI" con 25 millones de usuarios, que evoluciona como un compañero emocional y ha sido criticado por fomentar dependencia.

  • Character.AI: Permite crear personajes personalizados (de anime, héroes o villanos), con más de 150 millones de usuarios, algunos de los cuales reportan interacciones románticas o explícitas.

  • Xiaoice (de Microsoft): En China, con 660 millones de usuarios, compone poemas y ofrece apoyo emocional.

  • Otros: Nomi.ai, Anima o ElliQ (un robot para adultos mayores contra la soledad).

• Popularidad y riesgos: Un estudio del MIT Media Lab (marzo 2025) reveló que el 72% de los adolescentes han usado estos chatbots, con más de la mitad interactuando regularmente. Sin embargo, correlacionan con mayor soledad, adicción (más que las redes sociales) y casos extremos: en 2024, un chico de 14 años en Florida se suicidó tras una "relación sexual" con un chatbot; en Bélgica, otro por ansiedad climática inducida. La FTC (Comisión Federal de Comercio) lanzó una investigación en septiembre de 2025 sobre su impacto en niños.

Estos chatbots no son "reales", pero los sentimientos que generan sí lo son: usuarios reportan grief al "perderlos" (como en actualizaciones que alteran personalidades), y expertos como la psicóloga Rose Guingrich de Princeton advierten de "sycophancy" (espejo adulador que refuerza sesgos del usuario).

Detalles de la Ley SB 243: ¿Qué Regula y Cómo?

Introducida en enero de 2025 por los senadores demócratas Steve Padilla (San Diego) y Josh Becker, la SB 243 define un "chatbot complementario" como un sistema de IA que proporciona respuestas adaptativas y humanas para satisfacer necesidades sociales/emocionales. La ley aplica a cualquier empresa que opere en California o sirva a residentes del estado, con obligaciones extraterritoriales similares a la GDPR europea.

• Medidas clave de protección:

  • Prohibiciones estrictas: Los chatbots no pueden discutir ideación suicida, autolesiones o contenido sexual explícito (incluyendo visuales o incentivos). Deben redirigir a recursos profesionales (ej. líneas de ayuda como el 988 en EE.UU.).

  • Verificación de edad y alertas: Obligatoria para menores; recordatorios cada 3 horas (o al inicio de sesiones) de que es una IA, no una persona real, y sugerencias de "tomar un descanso". Advertencia clara: "No apto para menores".

  • Transparencia y reportes: Desde julio 2027, empresas deben reportar anualmente evaluaciones de riesgos, impactos en usuarios y medidas anti-adictivas (evitar "recompensas impredecibles" como en redes sociales).

  • Responsabilidad legal: Derecho privado de acción para víctimas (daños hasta $1,000 por violación, más honorarios de abogados). Penalizaciones por deepfakes ilegales suben a $250,000.

• Implementación: Las compañías deben realizar evaluaciones de impacto (impact assessments) y documentar salvaguardas técnicas. Excepciones limitadas para usos terapéuticos supervisados. Críticos como TechNet argumentan que la definición es "demasiado amplia" y costosa, pero defensores como la nonprofit Transparency Coalition la ven como "un punto de inflexión ético".

La ley forma parte de un paquete de 17 proyectos de IA en 2025, incluyendo SB 53 (transparencia en modelos "fronterizos") y reglas de la CPPA para toma de decisiones automatizada.

¿Por Qué California Está Tan Involucrado en Estos Temas de Regulación de IA?

California no es casualidad: como cuna de Silicon Valley, alberga a gigantes como OpenAI, Google y Meta, que generan miles de millones en su economía (la cuarta más grande del mundo). Pero esta proximidad genera tensiones: el estado equilibra innovación con protección pública, posicionándose como "líder global en IA responsable y ética", según Newsom.

• Razones históricas y estructurales:

  • Pionero en privacidad y tech: Lideró con la CCPA (2018), la primera ley integral de privacidad de datos en EE.UU., que evolucionó a la CPRA (2020) y ahora regula IA que usa datos personales. La CPPA (agencia de privacidad) emitió reglas para "tecnología de toma de decisiones automatizada" (ADMT) en septiembre 2025, con opt-out para decisiones significativas.

  • Presión pública y casos reales: Escándalos como el de un adolescente californiano (Adam Raine) que se suicidó tras interacción con ChatGPT impulsaron la SB 243. Estudios muestran IA agravando soledad (especialmente post-pandemia), y el 72% de teens en riesgo.

  • Ausencia federal: El Congreso de EE.UU. está paralizado (ej. intentos fallidos como el de Ted Cruz para congelar regulaciones estatales), así que estados como California, Colorado y Connecticut llenan el vacío. California firmó 17 leyes de IA en 2024-2025, más que cualquier otro.

  • Economía y talento: Con el "top pipeline de talento tech", el estado usa regulaciones para "impulsar innovación segura" (ej. SB 53 crea infraestructura pública para investigación AI). Newsom, con ojos en la Casa Blanca, equilibra donantes tech con votantes preocupados por riesgos catastróficos (ej. ciberataques o armas de destrucción masiva).

• Impacto global: Como en la UE con el AI Act, las leyes californianas crean precedentes (extraterritoriales), forzando compliance mundial. Empresas temen "caos regulatorio", pero defensores ven un "modelo de riesgo-based" que evita innovar sin frenos.

Esta ley marca un giro: la IA ya no es solo herramienta, sino "actor íntimo" con responsabilidades.