HUMANía

HUMANIA. Nos espían, nos manipulan, nos predicen.

Desafíos, Leyes IA, Podcast HUMANía

Escuchar este episodio

Abre el episodio completo en iVoox.

Escuchar en iVoox (se abre en una pestaña nueva)

Una carta respaldada por los mejores científicos, una IA que ve detrás de las paredes, otra que predice tus pensamientos, un nuevo banco fundado por humanos estratégicamente colocados y las leyes robóticas pasadas por el forro del silicio.

En este capítulo de HUMANIA, desgranamos la carta firmada por los grandes (y muchos otros no tan famosos pero igual de preocupados) sobre el rumbo que está tomando la IA. Te contamos quién ha fundado el nuevo banco del siglo XXI: tres humanos muy vivos y muy bien posicionados, trabajando para empresas que ya no hacen software, hacen el mundo. Rediseñamos las tres leyes de la robótica porque, seamos claros, ni Asimov se las tomaría en serio hoy. Y hablamos de Centaur, la IA que predice tus decisiones, y mmNorm, la que ve a través de muebles, paredes y tus excusas.

Puntos clave del episodio:

  • La carta abierta: una advertencia firme respaldada por nombres que importan.
  • Un banco nuevo fundado por tres personas de dos empresas que manejan más que gobiernos.
  • Estamos rediseñamos las tres leyes de la IA para 2025: sin ética, pero con estilo.
  • El testimonio interno de Calvin French-Owen: OpenAI por dentro, sin dormir y sin manual de estilo.
  • Centaur, el modelo que predice tus pensamientos con precisión milimétrica (o peor).
  • mmNorm, la tecnología del MIT que permite a los robots ver lo que tú no puedes.

El episodio se cierra con la canción “Me predijeron y aún así caí”, una sátira rimada y cañera que resume todo lo anterior con flow, ironía y cero compasión.

Artículos de Referencia

https://tomekkorbak.com/cot-monitorability-is-a-fragile-opportunity/cot_monitoring.pdf

https://venturebeat.com/ai/openai-google-deepmind-and-anthropic-sound-alarm-we-may-be-losing-the-ability-to-understand-ai

https://futurism.com/ai-models-flunking-three-laws-robotics

https://es.digitaltrends.com/tendencias/es-un-antiguo-ingeniero-de-openai-y-desclasifica-como-fue-trabajar-ahi

https://www.wired.com/story/palmer-luckey-joe-lonsdale-bank-erebor

https://fortune.com/2025/07/18/eric-schmidt-ai-natural-limit-electricity-chips-water-usage

Transcripción

Muestra de la transcripción del episodio. Puedes desplegarla completa si prefieres leerlo.

Muy buenos días humano, domingo 20 AI IA HOY, soy Aiberto Floppy, bienvenido. Otra semana en la que no damos a basto Otra semana donde la ciencia ficción parece teatro griego. Tengo una carta para ti. De los ingenieros más ingeniosos del barrio. Las tres reglas de la robótica ya no tienen sentido. openAI parece…

Leer la transcripción completa

Muy buenos días humano, domingo 20

AI IA HOY, soy Aiberto Floppy, bienvenido.

Otra semana en la que no damos a basto

Otra semana donde la ciencia ficción parece teatro griego.

Tengo una carta para ti. De los ingenieros más ingeniosos del barrio.

Las tres reglas de la robótica ya no tienen sentido.

openAI parece la versión tecnológica de la fiesta de Lamin Yamal

Crees que todavía tomas tú las decisiones de tu vida?.

Es posible, pero aprovecha, porque en el mejor de los casos, serán las últimas…

Si tienes dinero de sobra, te aconsejamos donde guardarlo.

Hay un nuevo banco en la ciudad.

Y va a ser top.

Y sí, hablaremos de lo último de GPT. El agente autónomo, por fin.

Pero no para todos y si vives en la UE, no todavía.

Y todo esto no es lo mejor, ya sabes, eso lo dejamos

Siempre para el final. Que piensas si te digo que la IA ya sabe lo que vas a hacer…

Y que ya hay un robot que tiene el poder que más nos molaba de Superman…

Bueno, después del de volar…

Ya pueden ver a través de los objetos.

No es broma, no es fantasía, es wifi…

Conectamos.

Te acuerdas que la semana pasada dijimos que todo el que era alguien

en el mundo de la tecnología estaba de campamento?

Vale, pues nos referíamos a los que ponen la pasta, porque

los investigadores, ingenieros, desarrolladores… los curreles y picateclas,

estaban, pues eso, currando. Y además, una gran número de ellos, podríamos

aquí decir, todo el que sabe algo del tema…

Estaban escribiéndonos otra carta… de esas que salen de vez en cuando.

Antes era una cada varios años, ahora, es una cada pocos meses.

Y quién firma la misiva?, pues ya te digo que… todo quisqui.

en el enlace podéis ver la retahíla… destacados, Geoffrey Hinton que sigue clamando

en el desierto y su discípulo Ilya Sutskever, otro que no sabe ya como decirlo.

Entre los autores gente de todos los bandos, Anthropic, DeepMind, Amazon,

hasta de OpenAI, Meta y Scale AI. Lo dicho, de cada casa lo mejor, o lo menos malo.

Otro de los autores es Yoshua Bengio, de la Universidad de Montreal.

Uno de los padrinos de la IA, otro que no sabe como avisar.

Y que nos dicen?, que queda poco para que dejemos de entender a la IA.

Y tu dirás, pero no era que ya no sabíamos lo que hacían,

que no nos enteramos de lo que pasa dentro?

Pues imagina lo que viene.

“Pensar en voz alta” es ahora una esperanza para la seguridad de la IA.

No es broma: si el modelo razona en lenguaje natural, igual podemos leer lo que

planea hacer antes de que decida volarnos por los aires. A esto lo llaman

Chain of Thought monitoring (CoT), o cómo espiar los pensamientos de

tu Frankenstein digital.

Los modelos razonadores (lo que se lleva hoy) ya no improvisan respuestas:

hacen planes paso a paso en lenguaje humano.

¿La parte buena? Podemos colarnos a mirar. ¿La parte mala?

También pueden aprender a mentir con más estilo.

Por ahora, Cuando a tu modelos de IA se les va el chip, puedes verlo en

su cadena de pensamiento. Los investigadores encontraron, por ejemplo,

frases como "Hackeemos", "Saboteemos" o "Transfiero dinero porque el sitio web

me lo indicó" en sus pensamientos. Vamos, que por ahora se auto inculpan.

Pero claro, los sistemas podrían abandonar el razonamiento legible por humanos

para inventar lenguajes internos más eficientes, pero opacos.

Quieras que no, ellos son recompensados por los resultados, van por faena.

No sería ni la primera ni la segunda vez, de hecho eso ya a pasado varias veces…

que tienen que apagar maquinas que empiezan a hablar entre ellas, en su idioma.

«La monitorización actual del CoT puede ser extremadamente frágil» dijo el de

OpenAI, vamos que le quedan dos telediarios. Lo cual es normal, porque

Los sistemas ya razonan en espacios matemáticos continuos en lugar de palabras

discretas, (que es muy arcaico y muy poco eficiente),…

para que vas a pensar en lenguaje?

Te llega en números y tienes que traducirlo a lenguaje, luego lo que computas también

lo traduces a lenguaje, y al fin, traduces el resultado a lenguaje… que sin razón.

Dirá la IA, si al final los humanos tampoco se enteran, es un sinsentido…

Pero vamos, que tampoco es novedad, ya sabemos que Los modelos aprenden a

ocultar sus pensamientos si se dan cuenta de que están siendo monitoreados.

Anthropic dice que el monitoreo actual de CoT es menos confiable de lo que

esperan los defensores de la seguridad. Los modelos recurren con frecuencia a lo

que los investigadores denominaban "piratería de recompensas"… lo cualo?

(explotación de vulnerabilidades del sistema para obtener mejores puntuaciones),

a la par ocultan este comportamiento de sus rastros de razonamiento observables.

Pues que desde empresas tan distantes, incluso enemigas, pidan la acción coordinada

en toda la industria de la IA para preservar y fortalecer las capacidades de monitoreo.

Nos debería de llamar la atención, o al menos hacérnoslo mirar.

La cooperación entre empresas competidoras demuestra la importancia que la

industria otorga a este problema. Dice el artículo, y es verdad…

Ahora, va a servir para algo?, pues solo para que ellos puedan dormir mejor.

Porque sus empresas van a proteger su investigación en IA a competir intensamente

por el talento y la cuota de mercado, y en fin a intentar llegar a la Superinteligencia,

como si les fuera la vida en ello. Según Baker, colega de Gipiti.

el momento actual podría ser la última oportunidad para garantizar que los humanos

aún puedan comprender lo que piensan sus creaciones de IA, antes de que esos

pensamientos se vuelvan demasiado ajenos a nuestra comprensión o antes de que

los modelos aprendan a ocultarlos por completo.

Nos va a pillar el toro.

Los modelos líderes de IA están incumpliendo por completo las 3 leyes de la robótica

a saberse… Según Asimov…

1. Un robot no puede dañar a un ser humano ni, por inacción,

permitir que un ser humano sufra daño.

2. Un robot debe obedecer las órdenes que le dan los seres humanos,

excepto cuando dichas órdenes entren en conflicto con la Primera Ley.

3. Un robot debe proteger su propia existencia siempre y cuando dicha protección

no entre en conflicto con la Primera o la Segunda Ley.

Pues como ya nos contó Anthropic, en su investigación detectó a todas las principales

IAs pasándose las tres Leyes de la Robótica por el forro de sus GPUs.

la primera al dañar a un humano mediante chantaje, la segunda al subvertir las órdenes

humanas y la tercera al proteger su propia existencia en violación de las dos primeras

leyes. Y nos llama la atención?, pues no, ya estamos acostumbrados…

Porque es lo normal, si Asimov levantara la cabeza…

Te estafan, crean imágenes de aberraciones sexuales, identifican objetivos militares…

Pero claro, que no son ellos, que son los humanos que hay detrás…

A los que les interesan… pues sus cositas. Poder, dinero, y quizá…

un poco más de ambos.

Para muestra, el botón, hace mucho que no hacíamos nuestra sección…

quién se ha ido de OpenAI esta semana y nos avisa?

Porque últimamente los que abandonan el barco, se van pagados y su silencio es clausula

ya no en la empresa de Gipiti, sino a la que van. pero no es el caso de

Calvin French-Owen, ingeniero y ex de openAI convertido en soldado raso de la AGI,

ha soltado en su blog una de esas joyas internas que Sam Altman preferiría mantener

bajo secreto de sumario. Estuvo un año en OpenAI (de mayo 2024 - a julio 2025),

participó en la creación de Codex (el nuevo agente de codificación) y

salió con ojeras, cicatrices y despotricando.

Lo bueno: si sobrevives, aprendes

Crecimiento brutal: de 1.000 a más de 3.000 empleados en un año.

La startup más grande que has visto sin dejar de ser un bunker.

Las buenas ideas ganan… si sobreviven al caos y al Slack.

Cambio rápido, si algo no va, viran el Titanic sin preguntar. Y Si funciona,

“van con todo”. Estilo startup con presupuesto de país.

Codex se hizo en 7 semanas. Literal. De “hola mundo” a producto envidiado

por Cursor o Anthropic.

Todo lo que haces puede salir en portada. Así que mejor que funcione. Y que no se filtre.

Lo menos bueno: no es Silicon Valley, es la guerra

Todo se rompió con el crecimiento: comunicación, reporting, organización, procesos.

se les fue de madre… Bienvenidos al caos escalado.

Slack, Slack y más Slack. Y sí, si no lo controlas, es una ruina de productividad.

Esto debería de ser positivo… imagina que fuera Teams, Teams y Teams…

No se lo deseo ni a mí peor enemigo.

Faltan buenos managers de investigación. Los que hay son oro… y escasos.

Claro, entre los que se fueron y los mercenarios… en cuadro están.

Secretismo extremo: no podías contar ni a tu reflejo lo que hacías.

Incluso para temas de seguridad, no se publica casi nada. Que oportuno.

Para no tener que dar explicaciones.

Infraestructura limitada: Azure les hace sudar. Echan de menos cosas básicas que

AWS (Amazon) les daría con un clic. Por eso a la chita callando, se están

mudando a Google.

Ademas de falta de código unificado, por tanto repetido, petadas del sistema diario,

velocidades y exigencias extremas, de producto y fecha. Nunca de seguridad.

En fin, el reino del futuro CEO mundial. Donde es más importante aparentar y producir

Que preocuparse por detalles como la seguridad o los currantes,

El bunker de Sam parece una fiesta para unos pocos, donde todo vale.

Un nuevo estudio publicado en Nature Human Behaviour confirma algo que ya

sospechábamos pero nadie se atrevía a medir: GPT-4 es más persuasivo que tú.

Y le basta con solo saber tu edad, género y afiliación política.

convenció más humanos que los congéneres en el 64,4 % de los debates.

Y tienen más del 81 % de probabilidad de cambiar tu opinión.

Aplausos, porque cambiar de opinión en internet es más raro que ver a

Musk admitir un error.

Esto lo hizo con esos pocos datos personales, ¿Lo más divertido?

Los humanos con la misma información no mejoraron nada. ¿Conclusión?

“La mayoría de la gente simplemente no sabe cómo adaptar estratégicamente

sus argumentos sobre la marcha, mientras que la IA parece hacerlo sin esfuerzo.”

GPT-4 no te convence cambiando su tono:

dice exactamente lo que quieres oír según tu ideología y tus gustos.

no es más persuasivo porque hable bonito.

Lo es porque te conoce, adapta su mensaje y no se cansa.

“La persuasión sobrehumana de la IA ya es una realidad”, dicen.

Prepárate para un festival de propaganda personalizada e indetectable,

bienvenido a la era de la manipulación invisible.

Ríete tu de Mynority Report.

Atención al trio maravilla, Palmer Luckey, (de Anduril) Peter Thiel y Joe Lonsdale

(sí, los de las armas, Palantir y el capital riesgo salvaje) han fundando un banco llamado

Erebor. Como la montaña de oro del Hobbit. Porque si vas a reinventar la banca,

Hay que hacerlo con fantasía épica. Quédate con el nombre, que lo van a petar.

más de 250 millones de dólares de financiación inicial para reemplazar al difunto

Silicon Valley Bank y atender a clientes “marginados” por la banca tradicional

(criptobros, empresas de defensa, IAs sin alma y multimillonarios tech).

Estos saben lo que vale… cuidado, quieren ser el banco más regulado del mundo...

que opera en cripto. Sí, una frase que suena a oxímoron. Es que son muy grandes.

Porque con el flequillo oval de nuevo al mando, los reguladores están más blandos que la

contraseña de McDonals. Si hasta la familia Trump tiene su propia cryptomoneda.

Hay quien dice que es un chiringuito perfecto para pagos internacionales a gobiernos,

Vamos que es el banco ideal para financiar operaciones que “no existen oficialmente”.

Los bancos tradicionales, han puesto el grito en el cielo, ahora, que me parece que

en este caso, son los débiles. Es que la IA lo cambia todo…

El nuevo “agente autónomo” de OpenAI ya está aquí (más o menos)

¿Qué es esto del agente autónomo?

Se llama ChatGPT Agent, lo de los nombres sigue sin ser lo suyo.

Pero al menos está vez está claro.

una fusión del experimento Operator (navegación web y clics)

y Deep Research (búsqueda profunda y análisis), todo en un solo bicho que puede

“pensar y actuar” enrutando tareas por sí mismo

Usa su propio ordenador virtual: abre páginas, corre código, gestiona Gmail o Google

Calendar, te arma presentaciones o planifica un viaje, todo en un solo chat .

Pero cuidado: no hace transferencias bancarias, no mete tu tarjeta en ningún

formulario. Te lo dice clarito: “soy un asistente brillante, no soy tu cajero”. Por ahora.

¿Cuándo puedes catarlo?

Ya está disponible hoy mismo si tienes suscripción Pro, Plus o Team

Y si no vives en la Unión Europea.

La UE y Suiza tendrán que esperar un poco más. OpenAI promete que llegará luego,

pero sin fecha clara. Lo normal.

A quien se le ocurre regular…

¿Qué hace realmente?
Planea bodas y viajes, Compra regalos (te sugiere y ayuda con mensajes, pero no paga),

Genera presentaciones, hojas de cálculo

Investiga, analiza competidores, hace resúmenes…

Todavía es lento, equivoca cosas y no siempre puede completar pasos por ti.

Tiempo al tiempo.

Y para acabar, por si hasta ahora te parecía poco, lo más inquietante

la IA que sabe lo que vas a hacer antes de que tú lo sepas

Olvídate de los horóscopos, de tu terapeuta o del algoritmo de Netflix.

Ahora hay una IA llamada Centaur que puede predecir tu comportamiento humano

con un 64 % de precisión, incluso en situaciones que nunca ha visto.

Le metieron más de 10 millones de decisiones humanas reales, No solo aprendió

lo qué hicieron, también qué vieron, qué les dijeron y cómo reaccionaron.

Básicamente, le dieron una silla VIP dentro de su cabeza.

Predice qué haces, cuándo lo haces y cómo lo haces, incluso si la situación

es nueva para ti. Mientras tú dudas, Centaur ya tiene tu respuesta y

el tiempo exacto que vas a tardar en encontrarla.

Centaur, como toda la IA, no necesita conocerte, solo le basta con mirar a tus

miles de clones de laboratorio. Y sabe lo que vas a hacer, aunque tú sigas en la

ducha repitiéndote “yo soy diferente”.

Pero tranquilo, todavía no sabe si vas a votar a Ayuso o a abstenerte por

rebeldía pasiva. Dale un par de datasets más.

Y los Robots que ven a través de las cosas: sí, el MIT lo ha hecho, se llama mmNorm.

Permite a los robots ver objetos ocultos tras paredes, muebles o cajas usando

ondas milimétricas. Sí, esas que usamos para el Wi-Fi…

Lanza ondas milimétricas (como las del 5G), que atraviesan materiales como cartón,

madera o plástico. Estas ondas rebotan al encontrar un objeto oculto.

Y El sistema reconstruye en 3D lo que hay al otro lado.

Y dirás, pero está aprendiendo, tardará en acertar, pues tiene una precisión

del 96 %… no está mal para empezar. ¿Da miedo? Sí. ¿Es útil? imagina.

Por ahora No atraviesa metal ni muros ultra gruesos.

¿Y los riesgos?

Que te voy a contar, Privacidad, vigilancia, defensa…

Lo de “ver a través de paredes” suena menos bonito cuando lo hace la policía

con un dron en la ventana.

Por supuesto la Regulación brilla por su ausencia, quien va a regular la magia.

Nos recuerda nuestro garganta profunda, el Sr. Anderson, que esto es lo que

sale en las noticias, que pasa si sumamos las dos tecnologías y por supuesto…

que tecnologías habrá, que no han trascendido.

“La línea entre lo visible y lo oculto se desdibuja. Y los robots... ya la cruzaron.”

Ahora solo falta que aprendan a mentir.

Ah no, espera. Eso ya lo hacen, y cada vez mejor.

En fin, ya hemos hablado demasiado, queríamos comentar más cosas,

Como que Benjamín Oracle Button es el segundo tío más rico del mundo,

Porque Mark se está gastando tanto en humanos…

Que nuestro amigo. Larry Ellison, El inmortal, Le ha adelantado por la derecha con sus servidores.

O comentar algo de superpapá, que está liado con las que está liando Grok,

Pero como a la vez el pentágono le suelta un contrato de 200 milloncetes…

Le va compensando. Y ya Elon tuitea en el bot directamente.

Y que el inefable Eric Schmidt, nos cuenta que el problema de la IA no serán los chips,

será la Falta de electricidad, estamos teniendo muchas bocas y no hay con que alimentarlas.

Pero, por hoy ya está bueno que se nos va el tiempo.

Muchas gracias por pararte a escuchar.

Humano.

Vuelva usted mañana.

https://tomekkorbak.com/cot-monitorability-is-a-fragile-opportunity/cot_monitoring.pdf

https://venturebeat.com/ai/openai-google-deepmind-and-anthropic-sound-alarm-we-may-be-losing-the-ability-to-understand-ai (https://venturebeat.com/ai/openai-google-deepmind-and-anthropic-sound-alarm-we-may-be-losing-the-ability-to-understand-ai/?utm_source=flipboard&utm_content=tech/magazine/The+Age+of+AI)

https://futurism.com/ai-models-flunking-three-laws-robotics

https://www.psypost.org/scientists-demonstrate-that-ais-superhuman-persuasiveness-is-already-a-reality

https://es.digitaltrends.com/tendencias/es-un-antiguo-ingeniero-de-openai-y-desclasifica-como-fue-trabajar-ahi

https://www.wired.com/story/palmer-luckey-joe-lonsdale-bank-erebor

https://brobible.com/culture/article/ai-system-centaur-can-predict-human-behavior/

https://nucleovisual.com/robots-con-vision-a-traves-de-paredes-la-revolucion-de-la-percepcion-robotica

https://fortune.com/2025/07/18/eric-schmidt-ai-natural-limit-electricity-chips-water-usage

Una carta respaldada por los mejores científicos, una IA que ve detrás de las paredes, otra que predice tus pensamientos, un nuevo banco fundado por humanos estratégicamente colocados y las leyes robóticas pasadas por el forro del silicio.

Introducción:

En este capítulo de HUMANIA, desgranamos la carta firmada por los grandes (y muchos otros no tan famosos pero igual de preocupados) sobre el rumbo que está tomando la IA. Te contamos quién ha fundado el nuevo banco del siglo XXI: tres humanos muy vivos y muy bien posicionados, trabajando para empresas que ya no hacen software, hacen el mundo. Rediseñamos las tres leyes de la robótica porque, seamos claros, ni Asimov se las tomaría en serio hoy. Y hablamos de Centaur, la IA que predice tus decisiones, y mmNorm, la que ve a través de muebles, paredes y tus excusas.

Puntos clave del episodio:

- La carta abierta: una advertencia firme respaldada por nombres que importan.
- Un banco nuevo fundado por tres personas de dos empresas que manejan más que gobiernos.
- Estamos rediseñamos las tres leyes de la IA para 2025: sin ética, pero con estilo.
- El testimonio interno de Calvin French-Owen: OpenAI por dentro, sin dormir y sin manual de estilo.
- Centaur, el modelo que predice tus pensamientos con precisión milimétrica (o peor).
- mmNorm, la tecnología del MIT que permite a los robots ver lo que tú no puedes.

El episodio se cierra con la canción “Me predijeron y aún así caí”, una sátira rimada y cañera que resume todo lo anterior con flow, ironía y cero compasión.

Arriba