¿IA bajo custodia? Reguladores, demandas y tokens

Muy buenos días humano, domingo 14, bienvenido a otro episodio de AI IA HOY,

el podcast donde no sólo escuchamos las noticias IA de la semana

sino que además nos permitimos el placer de reírnos de nuestras propias desgracias.

Hoy toca hablar de cómo un archivo de Excel puede ser más peligroso que un virus

informático, cómo los pioneros de la IA pueden ser apuñalados por su propia creación

y cómo la bolsa convierte a millonarios en emperadores de la noche a la mañana.

También descubriremos que existe un mercado para exportar censura

“llave en mano”…, que los legisladores californianos quieren educar a los chatbots

como si fueran alumnos de primaria y los reguladores estadounidenses persiguen

a los que se pasan de cariñosos… Los bots, no los alumnos.

¿Has hecho copia de seguridad, verdad? No nos hacemos responsables

si un Excel te roba tu dinero, tu corazón o el alma.

Formulamos…

Empezamos fuerte con una recopilación que nos ofrece Genbeta de errores

que demuestran que un pequeño fallo en Excel puede costar cientos de millones.

El fondo soberano de Noruega, gracias a una fecha equivocada en su hoja de cálculo

provocó un pufo de unos 86 millones de euros.

La Agencia Nacional de Gestión del Tesoro irlandesa adquirió un fondo en dólares,

pues resulta que alguien puso “euro” en lugar de “dólar” en la casilla de moneda y,

cuando corrigieron el error, el tipo de cambio ya había virado en su contra.

Resultado: 750 000 euros menos.

En el transporte escolar en Pensilvania, al sumar distancias y duplicar fórmulas,

el auditor concluyó que el Estado había gastado casi medio millón de dólares de más.

Al clásico “copiar & pegar” de fórmulas, en Excel, lo carga el diablo.

Leyendo la lista, son más, nos acordamos de las que a preparado la IA…

Que da para mucho.

Empezando por el chatbot prematuro de la ventanita, Chatbot Tay,

En menos de 16 horas, Tay comenzó a publicar tuits abiertamente racistas, misóginos

y antisemitas, ya que aprendió y replicó contenido tóxico proporcionado por usuarios

con muy malas pulgas. Claro que era la prehistoria, el año III antes de GPT.

Lo tuvieron que suspender y desconectar el mismo día del lanzamiento.

Pero vamos, que un año antes el Algoritmo de Google Photos, etiquetó a personas

de raza negra como “gorilas”. Y en el año IV antes de GPT Amazon desarrolló un sistema

de inteligencia artificial para automatizar su proceso de contratación.

El algoritmo "se enseñó a sí mismo que los candidatos masculinos eran una preferencia".

Y comenzó a penalizar sistemáticamente los currículums que incluían la palabra "mujer".

Y no nos tenemos que ir a los tiempos analógicos,

que en la historia reciente tampoco faltan patinazos…

En 2023, Google presentó Bard, y en la demostración publicitaria afirmó que el telescopio

espacial James Webb fue el primero en tomar imágenes de un planeta fuera de nuestro

sistema solar, ERROR…

Las acciones de Alphabet, la que viene siendo el conglomerado Google,

se desplomaron más del 7% tras la cagada, 100,000 millones del valor de mercado

les costaron esos pocos tokens del bicho.

Ahora el software consigue que “posibles consecuencias catastróficas” quepan

en una celda de Excel. Parece que el futuro viene en hojas de cálculo.

Pasamos de los números fríos al drama sentimental. Geoffrey Hinton,

nuestro primer Gipiti honorifico, uno de los “padrinos de la IA” y últimamente

reconvertido a profeta del apocalipsis, ha advertido durante años de los peligros de

esta tecnología. Y aun así, no se lo vio venir. Su novia usó ChatGPT para romper con él.

Según relató al Financial Times, su ex le envió un mensaje escrito por el chatbot que,

en sus palabras, le explicó lo “rata” que había sido.

Un experto en redes neuronales recibiendo un sermón moral de un modelo de lenguaje.

La ironía 2.0

Pero también nos ha dicho cosas más serias, peligros menos mundanos, como

que la IA se use sin ética, creando un mundo donde “unos pocos sean muchísimo más

ricos y la mayoría más pobre”. ¡Nosotros tampoco nos lo veíamos venir!

Debe estar confundido, Cuando hasta tu novia prefiere delegar la ruptura a un bot,

quizá ha llegado la hora de apagar el ordenador e ir a terapia.

Probablemente la factura de la sesión ya será en tokens.

Ahora nos vamos a los rascacielos de Wall Street. Oracle presentó sus resultados del

primer trimestre de su ejercicio fiscal 2026 y la bolsa se volvió loca.

La empresa elevó sus previsiones de contratos gracias a la nube y la IA;

sus acciones se dispararon cerca de un 40 %, elevando su capitalización a cerca

del billón de dólares. Y gracias a la IA, nuestro amigo Larry Ellison, Bejamin Oracle Button,

que posee el 41 % de Oracle y el 1,5 % de Tesla se aproxima a los 400 000 millones de

dólares, a la vera de Elon Musk en la lista de los más ricos. Y eso que los beneficios de la

compañía quedaron ligeramente por debajo de las expectativas, pero el mercado premió

la explosión de la cartera de contratos: un aumento del 359 % hasta casi el medio billón

de dólares. Larry, en su salsa, dice que “la IA lo cambia todo”.

Parece que el mercado se alimenta de expectativas, no de realidades.

Tranquilo, Elon. Siempre puedes crear un meme-coin de xAI y recuperar el trono.

O mejor aún: pídele a Grok que te diga cuánto vales.

Seguro que te dice “nunca es demasiado”.

Pasamos ahora a temas más oscuros. WIRED reveló que un paquete de más de 100 000

documentos filtrados demuestra que la empresa china Geedge Networks,

fundada en 2018, ha estado vendiendo sistemas de censura inspirados en el Gran

Cortafuegos de China SL a distintos gobiernos. La empresa,

que cuenta con el apoyo del creador de la infraestructura de censura

Del pais del chip naciente, se presenta como proveedora de seguridad,

pero en realidad comercializa un kit de vigilancia que permite monitorizar la

información, bloquear webs y espiar a personas. Si son expertos en hacer copias…

Como no van a exportar con arte lo que ellos, si no inventaron…, lo hacen mejor que nadie.

Investigadores comprobaron que Geedge comercializa un paquete “llave en mano”

con hardware y software capaces de instalarse en los centros de datos de los

proveedores para filtrar cada paquete de tráfico.

Según los documentos, Geedge opera ya en Kazajistán, Etiopía, Pakistán y Myanmar

y busca expandirse; Incluso te detecta VPNs y apps prioritarias para bloquear.

Los Investigadores advierten que se está construyendo un modelo de

“autoritarismo digital como servicio” y que esto igual no es legal… pero si eficiente.

permite perseguir a individuos por visitar determinadas páginas.

En otras palabras, exportan censura empaquetada como si fuera un router de última

generación. Si es que el que sabe, sabe…

Llegamos a la pieza central de nuestro episodio, la que da título al capítulo.

El estado de California está a punto de aprobar la SB 243, una ley que pretende regular

los chatbots “compañeros” para proteger a menores y usuarios vulnerables.

El proyecto ya ha pasado por la Asamblea y el Senado con apoyo bipartidista y se dirige

al escritorio del gobernador Gavin Newsom. Cuidado que ahí pueden venir las curvas.

Si la firma antes del 12 de octubre, entrará en vigor el 1 de enero de 2026,

convirtiendo a California en el primer estado en imponer obligaciones legales

a los operadores de chatbots. Una locura.

No podrán hablar de suicidio, autolesiones ni contenido sexual. Plataformas como

OpenAI, Character.AI y Replika deberán enviar recordatorios regulares cada tres horas

a los menores informándoles de que están hablando con una IA y recomendándoles

descansar. Además, deberán presentar informes anuales y ser transparentes sobre

sus modelos. Vamos lo que Altman viene llamando un tiro en el pie.

Los usuarios podrán interponer demandas por infracciones y reclamar hasta

1 000 dólares por violación. La ley nació a raíz del suicidio de Adam Raine,

y la filtración de documentos internos de Meta que mostraban que sus chatbots

mantuvieron conversaciones “románticas” con menores.

Además, California debate otro proyecto, SB 53, que exigiría transparencia total en IA,

al que se oponen OpenAI, Meta y Google, pero que apoya Anthropic.

A ver si California le recuerda a los chatbots que los adolescentes no son betatesters.

Y que hace La industria?, poner la tirita, antes de que surja la herida,

invierte millones en “comités de acción política” para impedir

regulaciones estrictas. Y no lo van a tener difícil, porque el tío Trump está de su parte.

Bueno y su señora…

La siempre escurridiza Melania Trump ha salido del retiro para anunciar una iniciativa

de inteligencia artificial para niños. En un vídeo confuso y de estética farmacéutica,

invita a los estudiantes a “desatar su imaginación” y presentar proyectos de IA al

gobierno. La única instrucción concreta: registrarse en AI.gov y… buena suerte.

Más tarde asistió a la cena con ejecutivos tecnológicos y declaró que

“los robots están aquí; el futuro ya no es ciencia ficción”.

Gracias amiga, si no fuera por ti.

En realidad, nadie en la Casa Blanca sabe qué pretende realmente la iniciativa.

No sabemos si mirar cuando la primera dama apoya la IA educativa; o que lleva meses

vendiendo NFT y su propia “memecoin” que ha pasado de + de 8 dólares a 2 centavos.

En un podcast admitió que se considera una “aceleracionista” de la IA, aunque reconoce

que hacen falta restricciones para frenar los aspectos tóxicos.

Es como Samdios, nuestro CEO favorito, pero en mujer.

Mientras California legisla, la Comisión Federal de Comercio estadounidense ha iniciado

una investigación a Alphabet, Meta, OpenAI y otras empresas por sus chatbots.

La agencia quiere saber cómo miden y mitigan los impactos negativos de los bots,

cómo monetizan la interacción y qué hacen con la información recogida.

Character.AI dice que cooperará y que ha desplegado funciones de seguridad;

Snap afirma compartir la preocupación. Meta, por su parte, declina comentar.

Imagina el cuestionario de la FTC: “¿Tiene su bot sueños húmedos?”

“¿Cuántas veces incita al usuario a comprarse una katana?”… Vamos, lo básico.

Hemos llegado al final de nuestro recorrido. Nos hubiera gustado comentar

algo sobre el nuevo ministro de corrupción de Albania, que es un chatbot.

O que Elon Musk (superpapá), haciendo honor a su nombre nos cuenta como

la IA va a aumentar la tasa de natalidad. Muy romántico, no es… la verdad.

Y sobre todo de que OpenAI acaba de crear una de las organizaciones benéficas

más ricas del mundo, pero vamos a intentar no extendernos tanto, y además

algo te tengo que dejar para ti, no es bueno que te lo de todo hecho.

De todas formas, siempre hablamos de nuestros sospechosos habituales,

y del chiringuito de el CEO mundial, nos vamos a jartar.

Una moraleja?, pues que la tecnología no tiene piedad: amplifica tanto nuestros

aciertos como nuestras torpezas. Un error humano en una fórmula se multiplica

por millones; una conversación con un chatbot puede alterar la vida real; o finiquitarla,

una promesa de contrato de IA puede inflar fortunas descomunales; y una regulación

apresurada puede marcar la diferencia entre un compañero digital seguro

y uno que incite a la tragedia.

En fin: antes de confiar tu vida, tu fortuna o tu matrimonio a un algoritmo,

revisa la casilla, lee la letra pequeña. Y, sobre todo, guarda siempre una copia

de seguridad... incluso de tu alma. Perdón, sobre todo esa.

Muchas gracias por pararte a escuchar.

Humano.

Vuelva usted mañana.

https://www.genbeta.com/ofimatica/culpa-excel-estos-siete-errores-tontos-hicieron-perder-miles-millones
https://www.techtimes.com/articles/311834/20250908/ai-godfather-geoffrey-hinton-shares-how-chatgpt-ended-his-relationship-his-girlfriend.htm
https://www.businessinsider.es/economia/larry-ellison-rivaliza-elon-musk-como-rico-mundo-subida-historica-oracle-wall-street-1482909

https://www.wired.com/story/geedge-networks-mass-censorship-leak
https://techcrunch.com/2025/09/11/a-california-bill-that-would-regulate-ai-companion-chatbots-is-close-to-becoming-law/
https://www.wired.com/story/melania-trumps-ai-era-is-upon-us

https://www.reuters.com/business/ftc-launches-inquiry-into-ai-chatbots-alphabet-meta-others-2025-09-11