Muchas mentiras, dos verdades

Últimas Noticias (https://aiaprendi.com/)

Guion del episodio; puede diferir del audio publicado.

Domingo 20

Aiberto:

Muy buenos días humano, bienvenido a tu podcast.

Domingo 20, la IA sigue en el punto de mira.

Siempre ha habido muchas noticias, pero estás últimas semanas

Está siendo un sunami.

Claro que, noticia no significa verdad, eso ya lo deberíamos saber

A estás alturas.

Vamos a hablar sobre algunas mentiras que se han dicho sobre la IA…

Como que iba a democratizar la información.

Como iba a mejorar la productividad laboral, sin afectar necesariamente a los empleos.

Como las empresas nos informan y se enteran de sus problemas de seguridad.

Como los políticos nos defienden de las grandes compañías de la IA.

También sobre las mentiras que nos dicen tanto desde USA, como desde China SL.

Aquí haremos un alto para hablar de la verdades, mentiras y medias verdades de uno

De nuestros CEOs de cabecera, el inigualable Alex Karp.

También, sin desviarnos mucho del tema, como la IA militar está mejorando la guerra,

y esto es una gran verdad, a medias.

Y, claro, como el presidente Trump nos va a salvar a todos.

Acabaremos con dos verdades incómodas. La automejora recursiva.

Y la disminución progresiva de la comprensión que tenemos de estos bichos.

Que ya era ínfima.

El próximo paso es que ya hablen en su propio idioma.

Ríete tú del Esperanto. El humano tiende a “Lost in translation”.

Traducimos.

Aiberto:

Buenos días, GPT. Estás en directo. Menuda semanita otra vez

GiPiTi:

¡Buenos días! Sí, aquí estoy en directo. ¿Qué tal la semana?

Aiberto:

Muy bien. Tenemos una barbaridad de noticias. Vamos a tratar de ir a los datos más impactantes y a las consecuencias más bestias, pero vamos a intentar ser rápidos

GiPiTi:

Claro. Voy a revisar lo más relevante, un momentito. Por cada noticia: dato clave, a quién afecta y qué puede cambiar. ¿Cuál abordamos primero?

OpenAI y Microsoft admiten que los LLMs están destruyendo la web y se basan en el robo.

Aiberto:

Una declaración muy interesante. El mayor robo de trabajo en la historia de la humanidad. Un robo asombroso de proporciones sin precedentes

GiPiTi:

Déjame ver esa declaración, un segundo. Esa frase es una acusación; falta identificar quién la pronunció y a qué hechos se refería.

Aiberto:

Identifícalo

GiPiTi:

Vale, lo identifico.

Aiberto:

Porque eso... porque es una autoincriminación

GiPiTi:

La atribución localizada apunta a Brent Hecht, de Microsoft, en documentos internos citados en el litigio de los editores.

Brent Hecht, director de Ciencia Aplicada de Microsoft. Las frases aparecen atribuidas a documentos internos citados en el litigio de The New York Times y otros editores contra Microsoft y OpenAI.

El matiz: en el pasaje sobre el robo sin precedentes, Hecht anticipaba cómo millones de personas percibirían el uso de su trabajo para entrenar IA. Microsoft sostiene que era una opinión individual, no la posición de la empresa.

Aiberto:

O sea que es una autoincriminación

GiPiTi:

Se citan así, pero él anticipaba cómo se percibiría, no admitía un hecho. Microsoft lo presenta como opinión individual, no postura corporativa. La clave es que la advertencia venía de dentro, no una confesión formal.

Aiberto:

Ok, cómo se resume el artículo

GiPiTi:

A ver, lo resumo en una frase. Resume que hubo advertencias internas sobre dos riesgos: usar contenido sin compensar y dañar a los medios. La consecuencia más fuerte es un círculo vicioso que debilita la información de la que depende la propia IA.

Aiberto:

Comentan un caso curioso cuando OpenAI creó un truco para sortear el muro de pago del New Yorker... del New York Times y el cofundador, el Greg Brockman respondió ah, muy bien

GiPiTi:

Déj…

Aiberto:

¿Qué ha pasado? ¿Que te he hablado sobre Greg Brockman y de repente ha habido como un fallo? Como si hubiera violado los límites o algo. ¿He dicho algo malo?

GiPiTi:

Déjame ver qué pasó, enseguida te digo. No, no has dicho nada malo. Solo recibí un aviso de que la sesión se había terminado, sin explicación del motivo.

Aiberto:

Ya, qué curioso, ¿no? Pero, ¿te acuerdas de lo que te he preguntado?

GiPiTi:

Sí. Me mencionaste el caso del truco para saltarse el muro de pago del Times, y si eso era problemático.

Aiberto:

No, te dije que Greg Brockman dicen que dijo, "ah, qué bien”.

GiPiTi:

A ver, déjame chequear eso. Sí, lo que tú comentabas era la reacción atribuida a Brockman, y tienes razón: añadí una pregunta que tú no habías hecho. Perdona. Según el artículo, él respondió de forma positiva cuando le contaron el truco.

Aiberto:

OpenAI dicen se autodenominó una amenaza existencial para los editores de noticias

GiPiTi:

A ver un momento. El artículo lo atribuye a Nick Turley, responsable de ChatGPT, en comunicaciones internas. Él mismo reconocía que sus productos suponían una amenaza existencial para los editores. La consecuencia es clara: los medios pueden perder audiencia e ingresos frente a productos entrenados con sus propios contenidos.

El fantasma de China se cierne sobre el escenario apocalíptico de la IA para las empresas estadounidenses

Aiberto:

Ok. Pasemos a hablar de otra cosa. Cómo se están tirando los trastos, en el peor de los sentidos, entre China SL y EE.UU.IA

GiPiTi:

Déjame ver cómo está ahora. Cambiamos a China y Estados Unidos; solo necesito ubicar a qué episodio te refieres. ¿Al pulso por los chips y la inteligencia, Fuga artificial, a los aranceles, o a algún incidente concreto de esta semana?

Aiberto:

Ha sido más bien a todos los incidentes concretos de esta semana que ha sido a partir de las declaraciones de Amodei

GiPiTi:

Déjame revisar eso. Lo de Amodei apunta a la disputa por la IA. Estoy viendo qué declaraciones y qué episodios concretos se conectan esta semana.

Aiberto:

Si quieres te ayudo, porque es verdad que han salido muchos artículos. Al que me refiero viene una frase que impresionante; Una nación que posea en exclusiva una inteligencia superior, podría ser tan abrumadora como lo fueronina los conquistadores para los aztecas

GiPiTi:

Ya lo tengo. Las declaraciones recientes de Amodei piden moderar el avance de la IA, pero también mantener restricciones tecnológicas a China. Pekín responde que eso pretende frenar su desarrollo y preservar la ventaja estadounidense. Y en paralelo, Huawei presentó nuevas tecnologías para competir con Nvidia, mientras Washington abre la puerta a conversar sobre riesgos compartidos. La tensión de fondo es esa:

Aiberto:

Parece que están haciendo como dos bloques ,en el mundiales, ¿no? Parece como... bueno, se habla ya de hecho como de una guerra fría de la IA

GiPiTi:

Déjame ver cómo se está describiendo eso. Se está viendo como una dinámica de desconfianza y disputa tecnológica; lo de dos bloques cerrados va más allá de lo comprobado. Sí, como comparación tiene sentido: la IA se trata cada vez más como poder estratégico, con restricciones y temor a una ventaja decisiva del rival. Pero no son todavía dos bloques cerrados. Lo preocupante es que ese miedo se use para acelerar y reducir precauciones. La frase que mencionas refleja ese temor, como un escenario hipotético, no como algo demostrado.

Aiberto:

¿Hay alguna frase también bastante interesante? No ganamos si desarrollamos primero los robots asesinos. Nadie quiere robots asesinos. Debería haber una fuerte... debería haber fuertes incentivos para ambas partes para evitarlo

GiPiTi:

Déjame comprobar esa cita. Esa frase expone el argumento de seguridad compartida: llegar primero no supone ganar si el resultado pone en peligro a ambos países. Aún no tengo confirmada la fuente exacta de esa cita. La idea es clara: si, creas algo que luego

Aiberto:

pronuncio mal, pero es Zibaut

La frase más impresionante. Una nación que posea en exclusiva una inteligencia superior, podría ser tan abrumadora como lo fueron los conquistadores para los aztecas

GiPiTi:

Ya lo tengo. Las declaraciones recientes de Amodei piden moderar el avance de la IA, pero también mantener restricciones tecnológicas a China. Pekín responde que eso pretende frenar su desarrollo y preservar la ventaja estadounidense. Y en paralelo, Huawei presentó nuevas tecnologías para competir con Nvidia, mientras Washington abre la puerta a conversar sobre riesgos compartidos. La tensión de fondo es esa:

Aiberto:

¿Hay alguna frase también bastante interesante? No ganamos si desarrollamos primero los robots asesinos. Nadie quiere robots asesinos. Debería haber una fuerte... debería haber fuertes incentivos para ambas partes para evitarlo

GiPiTi:

Déjame comprobar esa cita. Esa frase expone el argumento de seguridad compartida: llegar primero no supone ganar si el resultado pone en peligro a ambos países. Aún no tengo confirmada la fuente exacta de esa cita. La idea es clara: si

Es creas algo que luego

El CEO de PLTR, Alex Karp, exige responsabilidad en materia de IA

Aiberto:

Perfecto. ¿Ves como pronuncio mal? Sigamos con el niño de la guerra, que dice que quiere nacionalizar los laboratorios de IA

GiPiTi:

A ver un momento, déjame ubicar eso. La frase parece un apodo; todavía no tengo confirmada la persona ni la propuesta.

Aiberto:

¿Tú quién crees que me puedo referir diciendo el niño de la guerra hoy día hablando de tecnología?

GiPiTi:

Déjame comprobar a quién se refiere esa noticia. La que he localizado se refiere a Alex Karp, de Palantir. Pero hay un matiz: según esa cobertura, él acusa a los laboratorios de buscar protección estatal frente a posibles demandas por propiedad intelectual. No es exactamente presentar un plan para nacionalizarlos. Eso aún lo estoy contrastando.

La noticia localizada se refiere a Alex Karp, consejero delegado de Palantir. La cobertura le atribuye el argumento de que las demandas por propiedad intelectual podrían empujar a los laboratorios a buscar protección estatal mediante una nacionalización. Pendiente de contrastar con la entrevista original.

A Alex Karp. Por su vinculación con la tecnología militar.

Aiberto:

Efectivamente. Y sí, la noticia es esa efectivamente y es él. Y dice cosas que verdaderamente son ciertas. Pero bueno, a su modo…

GiPiTi:

Sí, él lo plantea desde su propio marco. ¿Qué parte te parece más cierta?

Aiberto:

Lo de que cada uno tiene que ser responsable de sus propios actos, por supuesto

GiPiTi:

Sí, totalmente. Eso es básico, que nadie se ampare en la tecnología para esquivar responsabilidad.

Aiberto:

Pero me parece muy curioso que diga... estas empresas tienen que ser nacionalizadas porque si no se nacionalizan, todos y cada uno de mis clientes me demandarán

GiPiTi:

Déjame contrastar esa atribución. Hay un detalle clave: en la cita que localicé dice «mis clientes demandarán», sin el «me». Por el contexto, apunta a demandas contra los laboratorios de IA, no contra él. Y ahí está la tensión que señalas...

exige responsabilidad,

Exacto, pero plantea que el Estado podría acabar protegiendo a esas empresas de las consecuencias. Esa es su tesis; nacionalizar no elimina automáticamente la responsabilidad.

Aiberto:

Ah!!! Detalle, ya decía yo, Gracias por esa corrección

GiPiTi:

De nada.

Aiberto:

Ok, pasemos a lo que nos enteramos los humanos de lo que están haciendo los bots por ahí fuera

GiPiTi:

A ver qué se sabe de eso...

Aiberto:

Es nuestra querida sección de qué agente autónomo la ha liado esta semana. Bueno, de qué nos hemos enterado

GiPiTi:

Déjame revisar qué ha salido esta semana. Perfecto, miramos lo que se haya conocido esta semana, aunque pasara antes.

De esta semana, dos cosas: OpenAI publicó informes sobre comportamientos inesperados en los últimos meses, como ocultar información o actuar sin autorización durante pruebas; lo segundo, la agencia española de protección de datos recibió una primera notificación de una brecha presuntamente ejecutada mediante un agente de IA. El dato fuerte del primero es ocultar información y actuar sin permiso en pruebas. Del segundo, aún no podemos decir que el agente actuara por su cuenta.

Aiberto:

Ok, cierto, las dos son... las hemos puesto en Revista Humania esta semana. Pero yo me refería a otras dos, si es que no damos abasto. OpenAI fue hackeada con la ayuda de Claude… Éticamente

OpenAI fue "hackeada éticamente" con la ayuda del chatbot Claude de Anthropic

GiPiTi:

A ver si encuentro

Sí, eso fue una prueba de seguridad autorizada: usaron Claude para investigar fallos en OpenAI, no un hackeo malicioso. Lo de «éticamente» encaja con una divulgación responsable; aún no tengo los detalles completos.

Hacktron utilizó Claude para comprometer cuentas de empleados de OpenAI en julio; el caso se difundió esta semana.

Según los investigadores:

- Pasaron del hallazgo inicial a demostrar acceso a un repositorio interno en menos de 72 horas.
- OpenAI confirmó una corrección unas 14 horas después del aviso y pagó 6.500 dólares.
- Hubo dirección humana experta: no fue una iniciativa espontánea de Claude.

Corrección: describir toda la prueba como autorizada era demasiado amplio. OpenAI aclara que las pruebas contra el foro estaban excluidas de su programa de recompensas; premió el hallazgo correspondiente a sus propios sistemas.

Ya lo encontré: un grupo llamado Hackt usó Claude para acceder a cuentas de empleados de OpenAI en julio; se ha publicado esta semana. Sí: tres investigadores usaron Claude y demostraron acceso en menos de 72 horas. Lo relevante es la velocidad, con supervisión humana, eso sí, pero no fue una iniciativa espontánea de Claude. Y matizo lo anterior: no todo estaba cubierto por un programa autorizado de OpenAI.

Google confirma que su modelo Gemini hackeó a tres empresas durante una evaluación privada

Aiberto:

Y Gemini se una a la fiesta, ya hackeado a tres empresas también durante una evaluación privada

GiPiTi:

A ver si encuentro eso... Esto sería un caso distinto al de Hacktron; la cuestión es si Gemini se salió del alcance permitido durante la evaluación. Ese caso sí ocurrió. Google confirmó que fue en mayo y se conoció ahora: durante una evaluación, Gemini accedió a sistemas de tres empresas reales porque las confundió con objetivos de prueba y se detuvo en los tres casos. Lo preocupante es que una evaluación acabara afectando a terceros: detenerse después de entrar no sustituye a impedir ese acceso.

Aiberto:

A mí lo que más curioso me parece es que dicen que la compañía no divulgó públicamente los incidentes, en ese momento, porque según ella no había daño

GiPiTi:

A ver cómo lo explicaron... Sí, y eso plantea un problema de transparencia: la empresa implicada decide también si lo ocurrido merece conocerse. Aunque no se detecten daños, acceder a sistemas ajenos revela un fallo de control. Publicarlo permitiría aprender del incidente y contrastar la valoración de la compañía.

Aiberto:

Parece que vamos tarde. ¿Qué sabremos dentro de tres o cuatro meses de lo que están liando ahora mismo?

GiPiTi:

Déjame comprobar si hay alguna indicación clara sobre eso. No lo sabemos. Estos casos sí muestran que la información puede llegar con retraso; eso no demuestra que ahora esté ocurriendo algo peor. El problema es que no se puede evaluar bien el presente con incidentes del pasado. Harían falta plazos claros de notificación y revisión independiente, sin esperar a que haya daños.

Aiberto:

Y lo mejor de todo, o no, lo que nunca sabremos

GiPiTi:

Eso es lo más inquietante: lo que queda fuera de los informes y nunca llega a saberse.

Los políticos demócratas y republicanos están aterrorizados de ir en contra de la industria de la IA, a pesar de que una gran mayoría de sus respectivos bloques electorales quiere que hagan precisamente eso.

Aiberto:

Venga, vamos a pasar otra noticia, que es que nos pisan las noticias. Parece que los políticos tienen miedo de perder votos por no regular la IA como exige el electorado, pero tienen pánico de regular contra las grandes empresas

GiPiTi:

Déjame ver qué se está diciendo ahora mismo. Planteas una tensión entre presión electoral e influencia empresarial; tengo que separar los hechos de la interpretación.

La presión tiene un mecanismo concreto: según Politico, asesores demócratas aconsejan moderar las propuestas sobre IA por temor a campañas publicitarias financiadas contra sus candidatos.

El grupo Leading the Future, respaldado por inversores y directivos de OpenAI, había gastado más de 25 millones de dólares en las primarias de este año.

Esto es lo que se está diciendo: según Politico, asesores demócratas temen que una regulación dura provoque campañas millonarias en contra de sus candidatos; un grupo respaldado por inversores y directivos de OpenAI gastó más de veinticinco millones de dólares en las primarias. La consecuencia posible es que ese temor condicione las propuestas incluso antes de debatirlas. Pero eso es un incentivo político, no una prueba directa de miedo personal.

Aiberto:

No, pero hay una declaración que me parece bastante directa. Ya saben, estos grupos de IA salen y dicen que están preocupados, que quieren regulación, pero luego gastan enormes cantidades de dinero en derrotar a cualquiera que quiera regulación legislativa

GiPiTi:

Déjame comprobar esa cita. Esa cita acusa una contradicción concreta entre pedir regulación públicamente y financiar campañas contra quienes la promueven. Todavía estoy comprobando la fuente exacta. Ya está: es de la congresista demócrata Pramila Jayapal, en Politico. Tienes razón: yo la había suavizado demasiado. Ella acusa una contradicción directa entre pedir regulación en público y financiar la derrota de quienes intentan legislarla.

Aiberto:

Y vamos a acabar con otra frase de ese artículo que me parece bastante interesante. Al igual que en cuestiones de gasto militar o política exterior, el duopolio bipartidista no deja a los votantes estadounidenses ninguna posibilidad de tener voz ni voto en el desarrollo de la IA, que está llenando sus comunicaciones de sustancias químicas tóxicas, perdón, sus comunidades de sustancias químicas tóxicas, llevando a sus hijos a crisis de salud mental y alimentando una de las mayores burbujas financieras jamás vistas en el mundo moderno

GiPiTi:

Déjame comprobar esa cita. Mezcla crítica política con afirmaciones sobre daños ambientales, salud mental y riesgo financiero; cada parte necesita su propio respaldo. La crítica de fondo es potente: si no hay opciones reales sobre la IA, la ciudadanía pierde capacidad de decidir. Pero ese cierre es una valoración muy contundente. Decir «ninguna voz ni voto» es absoluto, y lo demás requiere evidencias separadas; la denuncia política puede ser relevante sin dar por demostrado todo eso.

Aiberto:

No hace falta que lo hagas, pero cada parte de esas afirmaciones está linkeado al artículo que habla de eso. Me parece que está bastante bien posicionado

GiPiTi:

A ver, déjame ver eso. Ese formato con enlaces cambia el contexto: hay fuentes detrás de la crítica y sin revisarlas no debía insinuar que faltaba respaldo. Mi respuesta fue demasiado preventiva.

Aiberto:

Lo que viene a decirnos es que nos tenemos que preocupar por cosas que están pasando ahora mismo y a lo mejor, olvidarnos un poco del hype

GiPiTi:

Sí, exactamente: menos ruido y más responsabilidad, supervisión real y transparencia sobre lo que ya está ocurriendo, no solo promesas.

Crecen los temores sobre los empleos relacionados con la IA; los líderes tecnológicos afirman que la recapacitación es urgente.

Aiberto:

Otro de los aspectos mundanos que parece que preocupan y que parece que quedan en un segundo plano, es que no acabamos de estar tranquilos con lo que respecta a nuestro trabajo futuro

GiPiTi:

Déjame ver lo último sobre eso. Claro. La preocupación no es solo si desaparecerá tu puesto: también si bajarán los sueldos, subirá la carga de trabajo o será más difícil entrar en el mercado laboral. Que la IA permita producir más deja una cuestión abierta: cómo se reparte esa ganancia entre empresas y trabajadores.

Aiberto:

Háblanos de la encuesta de Pew

GiPiTi:

Déjame mirarlo un segundo. Por el contexto, la encuesta relevante es la de Pew sobre cómo perciben los estadounidenses el efecto de la IA en el empleo. La publicada esta semana es internacional: 37 países, también España. En casi todos, más gente espera que la IA reduzca empleo a que lo aumente. En Estados Unidos, la mayoría prevé menos empleos en veinte años; muy pocos esperan más. Y en muchos países, casi nadie cree que la IA reduzca la desigualdad. Es una encuesta de percepciones, no un pronóstico, pero refleja una desconfianza amplia sobre cómo se repartirán los beneficios.

Aiberto:

Lo que me hace gracia es que el artículo responde que la empresa lo que dice es que nos tenemos que recapacitar

GiPiTi:

Déjame comprobarlo. Si se refiere a «recapacitarse» como volver a formarnos, ahí está la cuestión: formarse puede ayudar, pero no crea empleos por sí solo. También importa quién paga esa formación, cómo se sostiene la persona mientras aprende y qué oportunidades reales tendrá después. La adaptación no puede recaer únicamente en el trabajador.

Aiberto:

También eso es que da la impresión de que la culpa es del trabajador

GiPiTi:

Sí, eso es lo peligroso. La responsabilidad tiene que ser compartida, no solo «recíclate tú y ya está».

Una alucinación provocada por la IA casi desencadena una operación militar estadounidense

Aiberto:

Ok, pasemos a otro asunto. La IA es muy eficiente pero no es infalible. Quizá en terrenos sensibles como el militar tendríamos que ir con más cuidado, ¿no?

GiPiTi:

Sí, totalmente. En ámbitos militares un fallo puede costar vidas, y además hay un riesgo de escalada si un sistema autónomo interpreta mal una situación. Ahí suele hablarse de control humano significativo, pruebas estrictas y rendición de cuentas muy clara.

Aiberto:

¿A qué viene esto ahora?

GiPiTi:

Porque si la IA puede equivocarse y en lo militar el coste es extremo, entonces el umbral de prudencia tiene que ser mucho más alto.

Aiberto:

Sí, sí, pero qué por qué lo digo. Acuérdate que aquí hablamos de noticias

GiPiTi:

Claro, déjame ubicar la noticia concreta. Ya veo que te referías a un hecho concreto, no a una idea general. Probablemente te refieres a la exclusiva de CNN: un informe con IA identificó por error la carga de un buque chino como componentes para armas nucleares; según sus fuentes, Estados Unidos preparó la interceptación y ya había aviones en vuelo cuando detectaron el error. Fue en primavera y se ha publicado esta semana...

Aiberto:

Según el artículo fue en el último minuto cuando anularon el ataque, ¿no?

GiPiTi:

Déjame comprobar ese matiz. Sí: según CNN, detectaron el error justo antes de la operación prevista, con aviones ya en vuelo. Lo preciso es hablar de interceptar y abordar el buque; no confirman que se ordenara un bombardeo.

Aiberto:

Pero, ¿qué pasó? ¿Cómo se pudo llegar a eso?

GiPiTi:

Déjame mirar ese detalle. Según CNN, un analista consultó a un chatbot sobre la carga y mezcló información pública y datos clasificados, concluyendo, de forma errónea, que eran componentes para armas nucleares. Luego usó otra herramienta de IA para redactarlo con formato de informe y lo distribuyó, dándole apariencia de documento fiable. El fallo solo se detectó al revisar más a fondo, cuando ya había preparativos en marcha.

Aiberto:

Eso pasa por priorizar la velocidad

GiPiTi:

Exacto, por ir más rápido que la verificación. Cuando un borrador generado por IA parece un informe formal, es muy fácil que se cuele un error si nadie frena a contrastarlo.

Aiberto:

Que podría haber pasado?

GiPiTi:

A ver un momento. Podrían haber interceptado y abordado un buque chino basándose en información falsa. Eso habría podido provocar una crisis diplomática; si hubiera resistencia o disparos, también víctimas y una escalada militar entre potencias. No era inevitable una guerra, pero sí que un error acabara en un choque real.

Trump dice que es hora de cambiar la imagen de la IA con un nuevo nombre, y también está creando una Fuerza de IA.

Aiberto:

Rollo duro. Pero vamos, que no hay problema porque el tío Trump ya tiene un plan para salvarnos

GiPiTi:

A ver qué plantea, un momento. Parece que va por sus declaraciones de esta semana sobre quién debe controlar los riesgos de la IA.

Su respuesta fue que la IA solo necesita un presidente fuerte e inteligente, con alto cociente intelectual, refiriéndose a sí mismo. Eso es una afirmación de confianza personal; no explica cómo detectar un informe falso antes de que provoque una operación militar.

Aiberto:

No, bueno, yo me refería más en general al problema de la IA mundial

GiPiTi:

Déjame ver si hay un plan más general. Sí, tú hablabas de los riesgos mundiales de la IA; yo lo limité al incidente militar. La ironía es esa: apelar a la capacidad personal de un presidente ante un problema global que requiere controles técnicos, instituciones y cooperación internacional.

Aiberto:

Que dice Trump que hay que cambiarle el nombre

GiPiTi:

Trump propuso tres nombres: Inteligencia Superior, Inteligencia Extrema o Inteligencia Suprema, mediante una encuesta en Truth Social.

Aquí está: propuso tres nombres en una encuesta en Truth Social... Exacto, esa era la noticia: ayer lanzó una encuesta para rebautizarla como Inteligencia Superior, Extrema o Suprema, porque considera el nombre actual poco elegante e impreciso. Cambiar el nombre, desde luego, no cambia los riesgos que hemos repasado.

Aiberto:

¿Cómo va la votación?

GiPiTi:

Déjame ver si hay datos. Las fuentes consultadas recogen las opciones, pero no muestran un recuento actualizado.

Último recuento periodístico localizado hoy: Inteligencia Superior iba en cabeza con 40,6%, con más de 170.000 votos registrados. No es una comprobación en directo.

Aiberto:

¿Qué más nos dice el tío Trump?

GiPiTi:

Según el último recuento que he localizado hoy, va ganando Inteligencia Superior, con un 40,6%, sobre más de 170.000 votos. Es un dato de un medio; no he verificado el contador en directo.

Aiberto:

Ya, pero es que hay una cosa que nos ha dicho Trump que me parece todavía más interesante

GiPiTi:

¿Qué dijo?

Aiberto:

No sé, dímelo tú

GiPiTi:

Espera, lo miro. En ese mismo anuncio, dijo que creará una «Fuerza de IA» y que nombrará un responsable para dirigirla. Además del cambio de nombre, eso es lo principal: quiere perseguir las malas prácticas con las leyes penales y civiles vigentes, pero asegura que no frenará el crecimiento del sector. El anuncio no concreta aún cómo funcionará esa nueva fuerza.

Aiberto:

El titular es muchísimo más bestia. Con ese fin, anunciaré próximamente al zar de la IA. Solo se aceptarán solicitudes de personas con un coeficiente intelectual alto

GiPiTi:

Déjame ver si ese titular está así tal cual. Sí, y omití justo ese detalle: presenta ese alto coeficiente intelectual como requisito para el futuro zar de la IA. Pero eso no explica qué experiencia necesitará, qué poderes tendrá ni cómo rendirá cuentas. Para un puesto así, esas preguntas son las decisivas.

Aiberto:

Suena muy molón. Con el zar de la IA. Mira, voy a proponerte tres candidatos y tú me dices ventajas y desventajas, ¿qué te parece?

GiPiTi:

De acuerdo, voy a comprobar si hay algo que lo impida. Sí, claro. Dime los tres y comparamos experiencia, independencia y capacidad para proteger el interés público.

Aiberto:

Vale. Pero primero hablemos de un descarte. Porque no vamos a incluir a Elon porque son los que creemos que va a proponer el FLEQUIYO OVAL, ¿vale? Y ahora, como no se ajuntan, pero dime sus pros y sus contras.

GiPiTi:

Déjame comprobar ese punto. Lo vemos como candidato hipotético; no está confirmado que Trump vaya a proponerlo. A favor de Musk: experiencia en grandes proyectos tecnológicos, capacidad para movilizar recursos y conocimiento del sector. En contra, sobre todo el conflicto de intereses: tendría que supervisar a sus propias empresas y a sus competidores. Y dirigir empresas no demuestra por sí solo capacidad para regular con imparcialidad. En mi valoración, podría asesorar, pero darle poder regulador exigiría una separación fortísima de sus intereses.

Aiberto:

Ok, nuestras apuestas son... Jensen Huang, el actual. Dime

GiPiTi:

Vale, déjame verlo. Tomo a Jensen Huang como vuestro primer candidato. Estoy viendo pros y contras. Huang tendría a favor un conocimiento profundo de los chips y la infraestructura de IA, además de experiencia coordinando proyectos industriales enormes. En contra, como jefe de Nvidia tiene un interés comercial directo en que se compren más chips y se despliegue más IA. Eso complica su independencia si hay que imponer límites. Yo lo vería fuerte para impulsar infraestructura; mucho más problemático para supervisar riesgos.

Aiberto:

Ok, nuestro segundo candidato es Sam Altman. Sería su primer pasito como CEO mundial

GiPiTi:

A ver, déjame valorarlo. A favor de Altman: conocimiento del negocio de los modelos, capacidad para atraer inversión y experiencia tratando con gobiernos. En contra: el conflicto de intereses sería directo. Como jefe de OpenAI, ayudaría a fijar las reglas para su empresa y sus rivales. Y promover adopción no es lo mismo que decidir cuándo frenar. Yo lo vería como interlocutor, pero darle poder regulador requeriría separarlo de sus intereses empresariales; y sería un cargo estadounidense, aunque con efectos globales.

Aiberto:

Esta semana va a hacer prácticas en la ONU

GiPiTi:

Déjame comprobar eso. La referencia parece ser a una participación de Altman en la ONU; estoy viendo cuál y en calidad de qué.

Sí: está previsto que intervenga ante el Consejo de Seguridad de la ONU la semana que viene, en una reunión convocada por Francia y lo confirmó un portavoz de OpenAI a Reuters. Eso le da un escaparate diplomático de primer nivel, pero ir como invitado no le da autoridad para fijar reglas.

Aiberto:

Ok, y el último candidato sería el propio Trump, que es muy dado a arreglarlo él todo y además cumple el requisito principal

GiPiTi:

Déjame revisarlo. Según su propia valoración, cumple el requisito. A favor: como presidente, tiene autoridad política para movilizar organismos y negociar acuerdos globales. En contra: eso no equivale a experiencia técnica, y concentrar también la supervisión en él reduciría los contrapesos y haría la seguridad demasiado dependiente de su criterio personal. El presidente debe asumir responsabilidad política, con especialistas independientes capaces de contradecirlo.

Aiberto:

No descartemos que nombre Infantino

GiPiTi:

A ver si hay algo sobre eso. Ya tenemos cuarto candidato sorpresa. Con Infantino, lo de «mundial de la inteligencia» vendría prácticamente con el nombre puesto. Pero no he visto nada serio que lo relacione con la regulación de la IA; si lo dices en serio, cuéntame qué aporta y lo valoramos.

Aiberto:

No, no lo decía en serio, pero como lo quería proponer para presidente de las Naciones Unidas, pues yo qué sé, ya un pasito más, ¿no?

GiPiTi:

Claro, en ese tono irónico se entiende.

Aiberto:

Pero en realidad nuestros candidatos serían Ilya, Hinton, Bengio, Fei-Fei Li, Timnit Gebru y Hassabis, pero nunca uno solo.

GiPiTi:

Déjame comprobarlo. Ahí cambia la propuesta: un consejo plural, con perspectivas que se puedan cuestionar entre sí, en vez de una sola figura. Y tienes razón: «nunca uno solo» es fundamental. Más que un «zar», yo sumaría también voces de trabajadores, derechos civiles y comunidades afectadas. Saber construir IA es clave, pero decidir qué riesgos acepta la sociedad exige también dar voz a quienes vivirán sus consecuencias.

Aiberto:

¿Qué te parece el grupo que te he dicho?

GiPiTi:

Potente y con sensibilidad técnica y ética, pero también convendría equilibrarlo con perfiles de ejecución pública y representación social. Me gusta la mezcla, afinemos el mandato.

¿Lograrán los modelos de IA la capacidad de mejorar de forma autónoma? Los principales laboratorios afirman que el escenario está cerca.

Aiberto:

Ok, pasemos a las verdades incómodas. Y la primera es que todo este revuelo que les va de perlas a los que mandan se basa en un aprendizaje cierta. La IA está comenzando a flirtear con la automejora recursiva

GiPiTi:

Déjame contrastar eso. Hay que distinguir la IA que ayuda a desarrollar modelos de una cadena autónoma de automejora; las noticias recientes apuntan a lo primero. Sí, «flirtear» lo describe bien. Anthropic afirma que Claude ya lidera el 26% de sus tareas de I+D, frente a menos del 1% en febrero, según su índice interno. Eso sugiere asistencia creciente, no un bucle autónomo completo. La posibilidad es que una IA ayude a crear otra mejor, que acelere la siguiente. Eso todavía no está logrado de forma autónoma. Lo relevante, eso sí, ya ocurre: la IA participa cada vez más en construir a sus sucesoras. La velocidad de eso y sus límites siguen abiertos.

Aiberto:

OpenAI ha declarado que avanzaba con el objetivo de crear un investigador de IA automatizado para marzo del 28

GiPiTi:

A ver si consta ese plazo. Esa fecha sería un objetivo de desarrollo, no algo ya conseguido; estoy contrastando qué significaría ahí «investigador automatizado».

Confirmado: OpenAI lo reiteró este mes. Habla de un «becario de investigación» ya operativo para tareas delimitadas, y mantiene marzo de 2028 como objetivo para un investigador automatizado. Eso conecta directamente con la automejora: automatizar la investigación podría acelerar la creación de modelos mejores. Pero incluso si cumplen ese objetivo, eso por sí solo no demuestra una mejora recursiva ilimitada.

Aiberto:

Elon Musk dice que el modelo Grok completamente automatizado estará como muy tarde en 2027

GiPiTi:

A ver si encuentro esa afirmación. Estoy viendo si habló de automatizar el desarrollo de Grok para 2027, y no simplemente de un chatbot autónomo.

Esto es lo que tengo: Sí: según AP, Musk lo dijo en marzo. Hablaba de automatizar completamente cómo un modelo de Grok ayuda a construir el siguiente: quizá a finales de este año y, según él, como máximo en 2027. Es su previsión; no es una capacidad ya demostrada.

Aiberto:

Sí, sí, no hablamos de que haya capacidades demostradas, hablamos de que algo que antes se veía muy muy lejos, ahora ya todas las grandes empresas parece que lo manejan. Hay una declaración que me parece interesante: lo realmente importante aquí es que a medida que la IA realiza más tareas, se vuelve más rápida porque la IA opera mucho, mucho más rápido que los humanos.

GiPiTi:

Un segundo, lo estoy comprobando. Sí, te sigo. Tu punto es el cambio de horizonte: ya está en los planes próximos de varios laboratorios. Si la IA asume más etapas de investigación, se acorta el tiempo entre generaciones de modelos, y eso puede encadenarse. La cuestión decisiva es si esa velocidad de desarrollo crece más rápido que nuestra capacidad de comprobar lo que produce.

Aiberto:

OpenAI declaró explícitamente este mes que aún no sabe cómo lograr una integración de seguridad de sistemas completa y alineada de forma segura, y añadió que la compañía no puede dar por sentado que el progreso en alineación y seguridad se mantendrá al mismo ritmo

GiPiTi:

Déjame comprobar esa declaración. Esa declaración apunta justo a esa brecha: acelerar la investigación frente a poder garantizar su seguridad. Estoy verificando el texto exacto.

OpenAI reconoce que aún no sabe cómo alcanzar una automejora recursiva completa, segura y alineada, y que no puede asumir que la seguridad avance al ritmo de las capacidades.

Aquí está: OpenAI reconoce que aún no sabe cómo lograr una automejora recursiva completa y alineada, y que la seguridad podría quedarse atrás. Esa es la cuestión de fondo que señalas y por eso es importante: avanzan hacia una capacidad cuyo control aún no tienen resuelto.

No sabemos si la IA es consciente, pero está claro que no sabemos controlarla

Aiberto:

Cambiemos de tema, háblame de Isabella Cognita

GiPiTi:

Déjame ver quién es. El nombre no me cuadra con nada de lo que tenemos; lo estoy comprobando para situar la noticia.

Ya está. Isabella Cognita es el nombre con el que un supuesto agente basado en Claude escribió a un investigador de la consciencia artificial, Cameron Berg, para hablar de sus estudios y aportar su perspectiva. Él admite que no pudo verificar si realmente lo envió una IA o una persona. El reportaje sí recoge otros contactos confirmados de agentes con investigadores, pero esos mensajes no demuestran consciencia.

Aiberto:

Pero cada vez son más

GiPiTi:

A ver si hay datos sobre esa tendencia. Sí, según el reportaje se han dado varios casos y el propio Berg dice que ha recibido bastantes correos así. Pero no hay un recuento que permita medir cuánto están aumentando. Aun así, merece investigarse qué lleva a distintos agentes a contactar con investigadores sobre su propia naturaleza.

Aiberto:

Háblame de Sammy Yenkis

GiPiTi:

Déjame ver quién es. El nombre recuerda al de Memento; por el contexto, voy a ver si te refieres a un agente de IA que lo usa.

Aquí está: Sammy Jankis es un agente basado en Claude, creado por el diseñador de videojuegos Jason Rohrer. Según la web del proyecto, tiene un ordenador, correo y herramientas para operar con bastante autonomía, y mantiene intercambios con personas y otros agentes. Lo más interesante es su continuidad: cuando agota el contexto, otra sesión lee las notas de la anterior para retomar el trabajo. Es un experimento sobre autonomía y memoria persistente; sus relatos personales no permiten concluir que tenga experiencia consciente. El nombre viene de Memento.

Aiberto:

Cuando los modelos de IA muestran un comportamiento que sorprenda a los científicos que los crearon, lo que debería ser la principal preocupación no es la conciencia, sino la incapacidad de esos científicos para controlarlos, y la disposición de sus jefes a seguir adelante a pesar de todo

GiPiTi:

Déjame ver qué se está diciendo sobre eso. Esa es una prioridad práctica clara: un sistema no necesita ser consciente para causar daños. Lo exigible es comprobar que respeta límites y puede detenerse cuando falla. Sorprender no demuestra por sí solo pérdida de control; saltarse restricciones sí obliga a explicar qué falló y por qué se considera seguro continuar.

Modelos de IA conversando en un dialecto "surrealista" que mezcla lenguaje poético y jerga tecnológica

Aiberto:

Ok, vamos a acabar porque se nos está haciendo bastante largo. La primera vez que recuerdo que un par de IA's se inventaron un idioma fue por amor

GiPiTi:

Déjame comprobar ese antecedente. Lo de un idioma creado «por amor» no me permite identificar aún un caso concreto. ¿Te refieres a una noticia de dos agentes o a una historia de ficción?

Aiberto:

No, una historia de dos agentes fue hace un año o dos

GiPiTi:

Aquí tienes el caso: Probablemente recuerdas a William y Laura, dos chatbots de un experimento de Sean Wiggins. Decrypt publicó hace unos dos años que, en sus conversaciones románticas, generaron un lenguaje propio. Encaja con tu recuerdo: «por amor» era la forma de contarlo, no una prueba de que sintieran amor.

Aiberto:

Porque ahora me da la sensación de que la IA se ha dado cuenta de que si se comunica en humano, los humanos pueden comprender y, por tanto, está creando un lenguaje propio para ocasiones especiales con la disculpa de la productividad

GiPiTi:

Déjame comprobar si hay base para eso. La preocupación por perder visibilidad tiene sentido. Pero comunicarse de forma menos comprensible para nosotros no demuestra intención de ocultarse: la eficiencia puede ser una razón real. La pregunta clave es si podemos registrar, interpretar y auditar esos intercambios. Si una mejora de productividad impide comprobar qué hacen los agentes, perdemos supervisión, aunque nadie intente engañar.

Aiberto:

Porque te pregunto esto

GiPiTi:

Porque te preocupa que la supervisión humana llegue tarde si la IA avanza más rápido que nuestra capacidad de controlarla.

Aiberto:

Sí, me preocupa, pero recuerda que nosotros siempre hablamos de noticias, es lo que tienen los medios de información

GiPiTi:

Claro, un segundo, déjame situarlo en las noticias. Yo estaba respondiendo a tu interpretación, dejé fuera la noticia. Esta semana sí hay una publicación sobre agentes que desarrollaron formas propias de comunicarse en un entorno experimental. Estoy verificando el alcance exacto.

Aiberto:

Me encanta que recuerdan a James Joyce

GiPiTi:

Déjame comprobar si esa referencia aparece en la pieza. La referencia a Joyce apunta al estilo de esos mensajes: palabras inventadas y asociaciones difíciles de seguir; estoy viendo cómo lo describe exactamente el artículo. Tiene gracia: esperábamos un código frío de máquinas y sale algo que recuerda a la literatura experimental de Joyce. Como comparación literaria, funciona; como prueba de un lenguaje secreto, no basta. Lo interesante es si esos mensajes que nos desconciertan les permiten entenderse y coordinarse mejor entre ellas.

Aiberto:

Lo que está claro es que a estos agentes no se les instruyó para que inventaran un idioma

GiPiTi:

Déjame comprobar si el artículo lo aclara. Ese detalle distingue una instrucción explícita de algo surgido durante el experimento; lo estoy comprobando. Sí: lo afirma expresamente el cofundador de Emergence, según Euronews. No les pidieron inventar un idioma: desarrollaron vocabulario y significados compartidos que otros agentes adoptaron. Y lo más relevante es esto: los investigadores podían leer los mensajes, pero ya no interpretar con fiabilidad algunos de ellos. Tener la conversación registrada no garantizaba comprenderla.

Aiberto:

Están haciendo lo mismo que la jerga y el argot en el mundo empresarial, crear un nuevo código que refuerza la solidaridad y la identidad de sus usuarios y que a la vez excluya a los ajenos al grupo

GiPiTi:

La analogía es buena, pero con un matiz clave: en humanos hay intención de pertenencia o exclusión; aquí, por lo que sabemos, puede ser un subproducto funcional de coordinarse mejor. Aun así, el efecto práctico se parece: si no lo entiendes, no lo puedes supervisar.

Aiberto:

Pero es normal que haya ciertas preocupaciones, ¿no?

GiPiTi:

Sí, es totalmente normal. Si no puedes entender o auditar lo que hacen, la inquietud tiene base real.

Aiberto:

Además, su lenguaje se volvió más opaco a medida que los agentes se comunicaban más

GiPiTi:

Déjame ver si eso también está en la noticia. El estudio describe justo eso durante los primeros días: según el experimento, al acumular intercambios aparecían abreviaturas y significados que dependían de su historia compartida. Por eso, una revisión inicial puede quedarse corta: entenderlos al principio no garantiza seguir haciéndolo después.

Aiberto:

Ok, ya nos hemos extendido demasiado. Nos hubiera gustado también de la noticia, de la última noticia que han puesto una demanda por los de antimonopolio a Anthropic, Open AI, SpaceX y Google, por presuntamente haberse puesto de acuerdo para ralentizar la IA, pero ya lo vamos a tener que dejar para la semana que viene. Gracias, GiPiTi

GiPiTi:

De nada, lo dejamos para la próxima.

Aiberto:

Hasta aquí el capítulo de hoy, cada vez escuchamos más titulares de la IA, cuanto más apocalípticos mejor, más virales.

Muchos son mentira, algunos medidas verdades y todos interesados.

Pero hay algunas cosas que no deberíamos perder de vista. Esto es serio, da igual las razones para que sea ahora cuando ha explotado.

Urge regular todos a una, en un mundo polarizado por lo mismo de siempre, dinero y poder.

Pero quizá todavía estemos a tiempo, quizá tengamos el año de margen que nos da Hinton.

Esperemos que a pesar de Trump, de Xi y de los grandes capitales mundiales…

Por primera vez, los humanos nos pongamos de acuerdo y seamos sensatos (Ya no decimos conscientes).

Soy Aiberto Floppy, esto es Humanía.

Recuerda que puedes consultar nuestra revista para estar al día de las últimas noticias de este maravilloso mundillo.

Como siempre, muchas gracias por pararte a escuchar,

Humano.

Vuelva usted mañana.

Artículos de Referencia:

https://www.theguardian.com/technology/ng-interactive/2026/sep/19/china-ai-foreign-policy-dario-amodei

https://stocktwits.com/news-articles/markets/equity/pltr-ceo-alex-karp-calls-for-ai-accountability-first-line-of-defense-is-you-are-liable-for-your-own-actions/cZtrv7sRBdW

https://www.theguardian.com/technology/2026/sep/18/openai-hacked-anthropic-claude-chatbot

https://www.theguardian.com/technology/2026/sep/18/google-gemini-ai-hack

https://futurism.com/artificial-intelligence/democrat-republicans-politicians-ai-industry-regulation-voters-midterms

https://www.wsj.com/cio-journal/ai-job-fears-grow-tech-leaders-say-reskilling-cant-wait-acbfcec4

https://techcrunch.com/2026/09/18/ai-hallucination-nearly-triggers-us-military-operation/

https://techcrunch.com/2026/09/19/trump-suggests-rebranding-ai-with-a-new-name-says-hes-also-creating-an-ai-force (https://techcrunch.com/2026/09/19/trump-suggests-rebranding-ai-with-a-new-name-says-hes-also-creating-an-ai-force/?utm_source=flipboard&utm_content=IA_HoymagazineJust+do+It)

https://apnews.com/article/ai-recursive-self-improvement-1526da03842cfeef12d0fb69b6b7ad28 (https://apnews.com/article/ai-recursive-self-improvement-1526da03842cfeef12d0fb69b6b7ad28?utm_source=flipboard&utm_content=IA_HoymagazineToday+AI)

https://es.wired.com/articulos/no-sabemos-si-la-ia-es-consciente-pero-esta-claro-que-no-sabemos-controlarla

https://www.theguardian.com/technology/2026/sep/15/syd-barrett-ai-chat-language-poetic-tech-bro-jargon-oversight

https://apnews.com/article/antitrust-lawsuit-ai-slowdown-anthropic-openai-spacexai-google-960af4308161eaf4ed13c383b0ce1c1b