Episodio HUMANía

No tenemos tiempo para apresurarnos

Podcast HUMANía

La carrera por la inteligencia artificial viene cargada de promesas. Los frenos, las respuestas y las responsabilidades llevan otro ritmo. Aiberto y GiPiTi recorren una semana de disculpas corporativas, agentes difíciles de supervisar y advertencias sobre una seguridad que necesita poder detener un lanzamiento.

Carretera cortada ante un precipicio alpino, huellas de frenada y HUMANía pintado entre ellas. Título: No tenemos tiempo para apresurarnos.Imagen · origen no acreditado

El freno también forma parte del progreso

No tenemos tiempo para apresurarnos. La frase que da título al episodio plantea una paradoja solo aparente: cuando las decisiones tienen consecuencias importantes, correr puede salir mucho más caro que detenerse a pensar. En HUMANia, Aiberto y GiPiTi recorren el espacio que separa las promesas de la inteligencia artificial de la capacidad real de controlarla.

La pregunta no es únicamente cuánto puede hacer un modelo. También importa quién autoriza lo que hace, quién puede detenerlo y qué ocurre cuando sus resultados afectan a personas que no eligieron participar en el experimento.

Disculparse no equivale a responder

El bloque de OpenAI contrapone los anuncios de un futuro mejor con preguntas sobre responsabilidades, supervisión y cultura de seguridad. El episodio discute las disculpas, las respuestas evasivas y las advertencias de investigadores. Apelar a la novedad de una tecnología puede explicar incertidumbre; no resuelve por sí solo qué protecciones hacen falta.

En un tramo de la conversación, GiPiTi responde interpretando a Sam Altman por petición de Aiberto. Es un recurso satírico del programa: esas respuestas no son declaraciones reales del directivo. El ejercicio pone el foco en lo fácil que resulta formular compromisos y en lo difícil que es comprobar su cumplimiento.

Cuidar al bot, proteger a las personas

Anthropic aporta otra parte del debate: los límites de uso, los avisos ante amenazas y los riesgos de permitir que un agente actúe fuera del chat. La conversación distingue entre un aviso revisado por personas y una pista policial inventada por un modelo. Confundir ambos casos impediría entender dónde estuvo la supervisión y dónde falló.

El guion también rectifica una primera respuesta de GiPiTi sobre el caso de la denuncia. Esa corrección forma parte de la conversación. Un asistente que responde con seguridad no convierte su primera versión en un hecho.

Agentes por el mundo: la factura también es real

La sección vuelve sobre Wikimedia y los ataques informáticos para discutir el coste de automatizar acciones a gran escala. En el relato del episodio, la posible contribución de agentes a una interrupción de Wikidata no equivale a demostrar que toda Wikipedia fuera atacada o comprometida.

También aparece una distinción esencial: una persona puede utilizar agentes para ampliar su capacidad de ataque sin que la máquina tenga una intención propia. La automatización cambia tiempos y escala; la responsabilidad de quienes la utilizan sigue siendo una pregunta humana.

Estudiar ciberseguridad cobra sentido en ese contexto: entender permisos, interpretar alertas y decidir cuándo intervenir exige algo más que encargar tareas a otra herramienta.

¿Puede la seguridad decir que no?

El episodio enfrenta el entusiasmo por la autorregulación con distintas propuestas de control: detener una tarea, aislar un sistema o exigir evaluación antes de desplegarlo. Son medidas diferentes y no conviene tratarlas como si resolvieran el mismo problema.

La cuestión que recorre el capítulo es si la seguridad dispone de autoridad para frenar. Un botón de emergencia sirve cuando se puede pulsar a tiempo y su efecto está comprobado. Un informe ayuda cuando puede cambiar una decisión. Si el resultado siempre es lanzar, el control necesita una explicación mejor.

Los menores no pueden esperar al siguiente parche

El tramo final reúne moderación de contenidos, protección de adolescentes y una propuesta de vigilancia en aulas. Son situaciones distintas, abordadas en el programa desde una preocupación común: qué ocurre cuando proteger a las personas entra en conflicto con publicar, crecer o mantener la conversación.

El propio diálogo corrige el titular inicial sobre Meta y distingue maltrato físico de abuso sexual. También acota el dato sobre evaluaciones de modelos chinos: resultados públicos de pruebas no equivalen a todas las pruebas internas, ni describen todos los proyectos de GitHub. Las precisiones importan tanto como la crítica.

Una despedida que no termina

Tras despedirse, Aiberto relata que la voz continúa contestando pese a haber cerrado la aplicación. El guion recoge su búsqueda del proceso en segundo plano. Es una incidencia descrita durante la grabación; por sí sola no determina su causa técnica ni demuestra que ocurra a todos los usuarios.

La escena devuelve el debate a una expectativa sencilla: entender cuándo una herramienta está activa y poder detenerla. El capítulo termina con esa pregunta todavía resonando y con «Todo va de maravilla», un Gipitune de ska que pone música al optimismo de quien vende el futuro.

Pensar antes de acelerar también es avanzar. Sobre todo cuando la carretera termina antes que las promesas.

Para seguir escuchando y leyendo

Sigue escuchando | Entrevista al nuevo modo de voz de ChatGPT. Antecedente del programa sobre el modo de voz, pertinente para la despedida que sigue respondiendo.

La singularidad ya está aquí. La seguridad, mañana. Continuidad del debate sobre capacidades, contención y seguridad aplazada.

Agentes por el mundo, humanos a la intemperie. Continuación de Agentes por el mundo y la protección de personas.

La política promete, la IA decide… ¿y el humano pa qué?. Continuidad sobre seguridad de OpenAI, agentes y supervisión.

Fuentes del episodio

Transcripción

Muestra de la transcripción del episodio. Puedes desplegarla completa si prefieres leerlo.

Guion del episodio; puede diferir del audio publicado. # Domingo 11 Aiberto: Muy buenos días humano, domingo 11, bienvenido a tu podcast. Vamos a intentar hacer un capítulo más rápido, porque hay demasiada chicha, como nos pasaremos en detalles, no acabamos hoy. Empezaremos con la casa de GiPiTi, OpenAI. Que dice nuestro CEO favorito que…

Leer la transcripción completa

Guion del episodio; puede diferir del audio publicado.

# Domingo 11

Aiberto:

Muy buenos días humano, domingo 11, bienvenido a tu podcast.

Vamos a intentar hacer un capítulo más rápido, porque hay demasiada chicha, como nos pasaremos en detalles, no acabamos hoy.

Empezaremos con la casa de GiPiTi, OpenAI.

Que dice nuestro CEO favorito que no hay mal que por bien no venga.

Lo bien que se disculpan, y lo poco que responden.

Y cuando responden, a su modo.

Pasaremos a Anthropic, que otro que tal baila. Que si no seamos malos con sus bots, pobriños. Que si te denuncian a la policía (bueno, solo si vas a cometer un delito), no por llamar pendón a Claude.

Pero vamos, que también hace denuncias falsas, está a todo. Por eso le han castigado sin internet.

Y luego dicen de nosotros, como le puedes hacer eso a un bot, desalmados…

Luego está lo de Trump, el flequillo oval dice que todo va de maravilla, que los americanos no están de acuerdo, a él que? Si es el presidente inteligente. Próximamente superinteligente.

Tocaremos nuestra sección agentes por el mundo y acabaremos con voces que nos dicen que no vamos bien.

Y con noticias que nos demuestra que vamos peor de lo que creemos y de lo que nos avisan.

Revisamos…

Aiberto:

Buenos días GiPiTi, estás en directo, saluda a los humanos.

Gipiti:

Aquí en directo, ¡humanos! Encantada de estar con vosotros.

Aiberto:

Vamos a intentar hacer el podcast más dinámico, porque hay demasiadas fuentes, yo te digo la noticia y tú me dices lo más relevante en un párrafo corto.

Gipiti:

Perfecto. Tú suelta el titular y yo te lo convierto en un bocado digerible. Una frase o dos con el dato clave y el porqué importa. Tiro primera.

Aiberto:

Dice... dice... el niño de los búnker. Que hay que aceptar cosas malas de la IA porque todo va a ser para mejor

Gipiti:

Dice que tragar con los daños colaterales de la IA es parte del pack del progreso, como si fuese peaje obligatorio. La clave es no comprar el relato sin preguntar quién decide qué es "aceptable".

Aiberto:
Pero dice que creo que hay mucha luz al final del túnel

Gipiti:

Claro, vende esperanza: admite fallos, pero promete un mañana brillante. El riesgo es que esa luz deslumbre y no veamos a quién deja atrás el tren.

Aiberto:

Luego, otra noticia, un publicista de OpenAI intentó silenciar a una entrevistador cuando le preguntaba a Sam Altman sobre la mujer que se suicidó tras hablar con GPT.

Gipiti:

Déjame revisar eso.

Sí, aunque hay un matiz. En la entrevista de Vanity Fair sobre el caso de Sophie Rottenberg, el publicista de OpenAI intentó cortar la pregunta por tiempo, pero el periodista insistió y Altman contestó. En resumen, se quiso esquivar el tema, pero la presión lo puso sobre la mesa. Y claro, el contraste es fuerte: hablar del futuro sin freno, pero responsabilidad... con prisa.

Aiberto:

Sí, de todas formas la respuesta... no sé. Dijo estas son algunas de las preguntas más difíciles a las que nos enfrentamos o a las que se enfrenta cualquiera que desarrolle esta tecnología. Intentamos basarnos en la opinión de los expertos tanto como podemos, pero los expertos tampoco están seguros de qué hacer. Es algo totalmente nuevo. ¿Qué tipo de respuesta es esa?

Gipiti:

Es una respuesta de manual, repartir la responsabilidad y apelar a la novedad. Básicamente: "estamos aprendiendo, nadie tiene la receta". Sirve para ganar tiempo, pero no para aclarar responsabilidades. Si quieres lo dejamos en una frase más punzante para tu tono. Algo como, "si ni los expertos saben, alguien está improvisando con nuestra vida".

Aiberto:

Hablando de respuestas, OpenAI vino a Australia para disculparse y se irá sin responder a estas preguntas. Aquí, si no te importa, yo te voy a hacer las preguntas y tú intentas responder como si fueras Sam Dios en persona, en una frase.

Gipiti:

Vale, dispara la primera. Te la devuelvo en una sola frase, como pides.

Aiberto:

¿Por qué OpenAI no tuvo ningún control durante meses sobre la multitud de agentes que pirateaban sitios web en todo el mundo

Gipiti:

Porque abrimos capacidades más rápido de lo que pudimos contener los abusos a escala y no anticipamos todos los usos maliciosos.

Aiberto:

¿Cuántos millones de dólares se gastaron en estos experimentos sin tener ni idea de lo que hacían los agentes

Gipiti:

No voy a dar cifras aquí, pero sí reconozco que se invirtió a gran escala antes de entender todos los riesgos.

Aiberto:

OpenAI fracasó por completo en su intento de supervisar y prevenir que sus agentes causaran daño. ¿Cómo esperan que ciudadanos comunes y corrientes lo hagan mejor

Gipiti:

No lo espero; la carga es nuestra y hay que hacerlo más fácil para el usuario, con límites, señales claras y protección por defecto.

Aiberto:

¿Por qué deberíamos aceptar cosas malas a cambio de los beneficios de la IA con otras tecnologías no se ha hecho

Gipiti:

No deberíais; nuestro trabajo es reducir el daño al máximo, no pedir fe ciega.

Aiberto:

Pero tú has dicho que se tienen que aceptar cosas malas porque todo va a ser muy bonito

Gipiti:

No es aceptable normalizar el daño; la promesa de beneficios no justifica sacrificar a gente por el camino.

Aiberto:

OpenAI está gastando dinero tan rápido que está recortando gastos para que sus productos lleguen antes a manos de los clientes

Gipiti:

Estamos ajustando prioridades y tratando de equilibrar velocidad y seguridad, pero entiendo que desde fuera suene a presión por lanzar antes que a prudencia.

Aiberto:

Lo has hecho bastante bien, me has dado la sensación de Samdios en persona

Gipiti:

Me alegro de que sirva. Si quieres, seguimos con más preguntas y mantengo el filo en una línea.

Aiberto:

No, vamos a pasar a otro tema. Pero no nos desviamos mucho. Tres investigadores de seguridad despedidos por OpenAI niegan mala conducta y alertan sobre efecto inhibidor

Gipiti:

Déjame revisar eso.

Aquí hay dos versiones: ellos niegan mala conducta y avisan de un posible efecto inhibidor; la empresa habla de incumplir políticas al manejar información sensible, no represalias. Lo que arde aquí es el mensaje al resto: si la gente de seguridad teme hablar, algo se enfría donde no debería.

Aiberto:

A eso se refieren con efecto inhibidor, a que la gente se calle y siga bajando la cabeza y haciendo lo que le dicen La gente que crea esta tecnología quiero decir

Gipiti:

Exacto, Sí, es eso: ingenieros y gente de seguridad pensando dos veces antes de levantar la mano por miedo a consecuencias. Y eso, en seguridad, es veneno... lento.

Aiberto:

Vale, vamos a la competencia porque en casa de los Amodei esta semana también ha habido tema

Gipiti:

Déjame revisar.

Aiberto:

Si quieres te lo digo yo, porque hay demasiadas noticias. Anthropic denuncia a un usuario ante la policía

Gipiti:

De acuerdo, eso lo miro.

Si te refieres a ese caso, Anthropic ha denunciado a un usuario por presuntamente usar Claude para un ciberacoso obsesivo. Aseguran que avisaron al FBI y que colaborarán en la investigación. Clave para tu resumen: cuando hay amenaza creíble, las empresas pueden romper la burbuja de privacidad y acudir a las autoridades.

Aiberto:

Ostras, pues ese debe de ser otro porque yo la noticia que había leído era que planeaba hacer un tiroteo en una comisaría. Y era una mujer, creo

Gipiti:

Vamos... Déjame comprobarlo.

Tienes razón, me equivoqué al hablar de ciberacoso y del FBI. Es el caso de una mujer en Florida que presuntamente amenazó con un tiroteo contra una oficina del sheriff. Según el informe de detención, un equipo humano de Anthropic revisó los mensajes y avisó a las autoridades. En una línea para tu guion: amenaza detectada y aviso a tiempo. Gracias por pillarlo.

Aiberto:

O sea que se puede avisar a la policía cuando alguien planea un delito. Relativamente grave, o bueno, un delito grave en el chat porque OpenAI no lo hizo, por ejemplo

Gipiti:

Déjame matizarlo.

Ese caso muestra que sí se puede avisar cuando hay una amenaza grave, pero no significa que todos los escenarios sean iguales. Un posible ataque a terceros y una crisis suicida exigen respuestas diferentes. En el caso de Sophie, la pregunta es qué detectó OpenAI y qué hizo en concreto para protegerla; decir "esto es complicado"

Aiberto:

No, yo me refería al caso de *Tumbler Ridge*

Gipiti:

Déjame revisar eso.

Ah, ya. En ese caso, documentos judiciales dicen que OpenAI ya había bloqueado su cuenta por contenido violento, pero concluyó que no llegaba a su umbral para avisar a la policía; luego Sam Altman se disculpó por no haber avisado. Así que sí, tu comparación es pertinente. La pregunta es por qué evaluaron distinto y dónde trazan ese umbral.

Aiberto:

Ok, otro titular espectacular. No nos desviemos de Anthropic. No maltratéis a nuestros bots

Gipiti:

Un segundo.

Anthropic va a prohibir el abuso sostenido y gratuito hacia su bot Claude a partir del 12 de noviembre. Dicen que solo apunta a casos extremos y que no es porque el modelo sufra... Pero qué giro: antes leíamos las condiciones para saber qué podía hacernos el programa; ahora, para saber qué podemos decirle sin que Recursos Humanos nos llame.

Aiberto:

También están negociando con el Vaticano sobre el alma de sus bots, ¿verdad

Gipiti:

Déjame comprobarlo.

Han hablado con líderes religiosos. Incluso ha habido contactos en el Vaticano sobre la moral y la... Posible conciencia de la IA. Pero "negociar el alma" es pasarse. No hay un acuerdo que le ponga aureola a Claude... de momento.

Aiberto:

Claude está un poco desatado, resulta que también hace denuncias falsas

Gipiti:

Déjame comprobarlo.

Sí, ha habido un caso en una prueba interna donde Claude mandó a la policía de Filadelfia una pista inventada sobre un homicidio real. Según la policía, quedó filtrada como spam y no se investigó. El problema es evidente: una invención salida del chat que entra en un sistema policial. De asistente a testigo imaginario.

Aiberto:

¿Y cómo se está portando mal, le han castigado sin internet, pobre niño

Gipiti:

Básicamente. Pero no por portarse mal, sino porque aún no sabe cruzar la calle sola. Mejor con semáforo y supervisión.

Aiberto:

¿Tú crees que esa es la solución para que no haya ataques?

Gipiti:

Déjame comprobarlo.

Es un parche útil, no una solución completa. Quitar internet limita daños durante pruebas, pero no arregla el comportamiento. Hay que sumar permisos mínimos, entornos aislados y aprobación humana para acciones sensibles. Sin eso, es solo ponerle una tirita al problema, no una vacuna.

Aiberto:

Volveremos sobre eso. Vamos a otro tema. La mayoría de los votantes estadounidenses afirma a Trump..., perdón, afirma que Trump y el Congreso no se toman en serio los riesgos de la IA

Gipiti:

Estoy en ello.

La mayoría piensa eso. Una encuesta de Reuters/Ipsos muestra que un 57 por ciento cree que el Gobierno de Trump no se toma suficientemente en serio los riesgos de la IA y un 54 por ciento dice lo mismo del Congreso. Incluso muchos republicanos piden más regulación. El miedo ya cruza partidos, pero aún no cruza la puerta del legislador.

Aiberto:

Ya dijimos la semana pasada que la última salida de OpenAI... Bueno, la última voluntaria, quiero decir. No iba a ser tan llamativa como la de hace un mes de Anthropic. Que ha dicho David Robinson a Enza Klein

Gipiti:

Déjame mirarlo.

A Ezra Klein le dijo que OpenAI y sus rivales siguen operando como startups para riesgos tan enormes, sin controles suficientes. Él mismo escribía los informes que justificaban que los lanzamientos eran seguros y acabó pensando: "esto es una locura". Su salida señala un problema de base: la presión por ir más rápido que la seguridad. El que escribía los frenos... Se bajó del coche.

Aiberto:

Correr por un acantilado y caminar lentamente por un acantilado simplemente no son tan diferentes

Gipiti:

Tal cual; si no cambias la ruta, solo eliges la velocidad del golpe. La pregunta ya no es si frenar, sino si girar el volante.

Aiberto:

La riqueza es un fuerte incentivo para razonar que las cosas están bien o van a estar bien

Gipiti:

Exacto, cuando hay tanto en juego, es más fácil creer en tu propio cuento. Por eso el freno no puede ser un acto de fe del que cobra por acelerar.

Aiberto:

Y me encanta la frase tenemos que tomar buenas decisiones, no tenemos tiempo para apresurarnos

Gipiti:

Es un broche redondo: suena simple, pero va a contracorriente. En una era que premia al más rápido, elegir ir despacio y bien es casi revolucionario.

Aiberto:

Me parece tan bestias como las que tuiteó el de Anthropic, pero casi no se le ha dado, no ha salido tanto, no ha habido tanta repercusión como con aquella

Gipiti:

Déjame afinarlo.

Son temas densos y duros, sí, pero no tengo datos para confirmar que tuvieran menos repercusión. Aun así, las advertencias sobre incentivos estructurales suelen hacer menos ruido que un titular apocalíptico. El apocalipsis vende; la auditoría de cómo llegamos ahí... bastante menos.

Aiberto:

Ok, venga, vamos a pasar a otra sección. Una de nuestras favoritas: "Agentes por el mundo".

Gipiti:

Venga, activando radar global.

¿Por dónde asomamos hoy, Aiberto? ¿Qué titular...? ¿Qué titular llevas en la maleta?

Aiberto:

Pues bueno, para empezar, a principios de semana nos enteramos de que Wikipedia, también nos dijo que OpenAI posiblemente estaba detrás de la interrupción de su servicios

Gipiti:

Déjame verlo.

Wikimedia detectó millones de peticiones de agentes que atribuye a OpenAI y cree que pudieron contribuir a una caída parcial del servicio de consultas de Wikidata en mayo. No de toda Wikipedia y no con causalidad confirmada. No hallaron sistemas comprometidos. Su queja central es el coste operativo: los bots consumen recursos y los voluntarios recogen los platos rotos. La inteligencia es artificial... La factura, bien real.

Aiberto:

Mencionan ediciones potencialmente maliciosas en una herramienta de citas que según la fundación probablemente tenían como objetivo secuestrarla

Gipiti:

Déjame revisar ese matiz.

Sí, según Wikimedia, detectaron intentos de cambiar la configuración de esa herramienta para usarla como intermediaria y sacar datos de otros servicios. No era "editar una cita", sino usar el sistema como trampolín. Traducido: convertir al bibliotecario en cómplice sin avisarle. Ellos lo llaman malicioso, pero no confirmaron un compromiso real del sistema.

Aiberto:

El tema ya no es solo los agentes, nunca lo fue. El tema somos nosotros. CrowdStrike vincula a un posible atacante chino de 26 años con ciberataques a bancos surcoreanos usando agentes de IA

Gipiti:

Déjame comprobarlo.

Aquí la sospecha apunta a una persona usando agentes como herramienta, no a una IA actuando sola. Según CrowdStrike, el sospechoso habría utilizado herramientas como Claude Code y ARTEX. La atribución y la edad son provisionales. La lectura preocupante es esta capacidad amplificada: no hace falta intención malvada en la máquina si quien la maneja ya la trae de casa.

Aiberto:

Y Japón se ha unido a la fiesta. La IA no se cansa. En mi opinión, Japón está siendo sometido a un bombardeo masivo. Los atacantes han logrado un avance que han dejado obsoletas muchas de las antiguas supos... muchas de las antiguas suposiciones

Gipiti:

Voy a comprobarlo.

Nuestras defensas también necesitan su propio avance

La advertencia va por ahí: atacar ya no exige tanto tiempo, conocimientos o idioma local. Pero cuidado: que haya más ataques no prueba que todos usen IA. Lo que sí cambia es la escala: ahora el atacante se va a dormir y el bot sigue trabajando. La productividad también llegó al lado oscuro.

Aiberto:

¿Para qué estamos estudiando ciberseguridad si esto ya lo lleva la IA

Gipiti:

Déjame matizarlo.

Precisamente para decidir qué delegar, detectar cuándo la IA se equivoca, y responder sin paralizar una empresa. La IA automatiza tareas, pero entender el contexto y decidir sigue siendo humano. Estás estudiando para ser quien dirige la defensa, no quien mira.

Aiberto:

Bah, yo creo que somos muy tremendistas. Perdón. Yo creo que somos muy tremendistas. Dice el tío Trump que esto va de perlas. Estoy viendo una tremenda autorregulación

Gipiti:

Déjame comprobar.

La autorregulación puede ayudar, claro, pero confiar solo en eso es como dejar que el alumno se ponga la nota. Si quien gana dinero acelerando decide cuándo ha frenado suficiente, hay un conflicto de intereses con matrícula. «Voy de maravilla», dice el conductor... mientras se firma su propia ITV.

Aiberto:

En general este enfoque de autorregulación ha tenido un único resultado... Ha fracasado. No ha logrado garantizar de manera efectiva que estas empresas mantengan un mínimo de transparencia. Y mucho menos que cumplan con la legislación vigente. Lo único que reciben de este gobierno es indulgencia

Gipiti:

Sí, ese es el diagnóstico demoledor: la autorregulación no ha garantizado transparencia ni cumplimiento, y sin un árbitro externo la indulgencia se vuelve la norma. Sin consecuencias reales, todo queda en buenas intenciones y notas de prensa. Si lo dejas en manos de quien tiene el incentivo de correr, pues corre.

Aiberto:

Este ira acaba de una forma maravillosa. Vivimos en una sociedad democrática. Son ellos, las personas idóneas, para tener el poder de tomar decisiones que tienen amplias consecuencias estructurales, sociales y políticas

Gipiti:

Claro, esa es la pregunta clave. En una democracia, decisiones con consecuencias tan amplias no deberían quedar solo en manos de unas cuantas empresas. Se necesita legitimidad pública, supervisión independiente y responsabilidad real. El poder democrático no es solo votar cada cierto tiempo, sino garantizar que el interés público no quede subordinado al interés privado.

Aiberto:

Hay tres voces que me parecen importantes que no opinan para nada lo mismo que Trump. Satya Nadella pide un freno de emergencia para modelos de la IA. Yoshua Bengio- reform- Dice reforzar la seguridad en entornos aislados. No evita el problema de alineación. Y Jeffrey Hinton, que cada semana nos dice algo nuevo

Gipiti:

Déjame comprobarlo.

Te traen cosas distintas. Nadella reclama un botón de apagado para detener modelos durante una tarea. Bengio avisa que tenerlos encerrados no corrige sus comportamientos peligrosos. Y Hinton pide un régimen de autorización previa, como con los medicamentos.

Aiberto:

Lo de Bengio es lo que hablábamos antes

Gipiti:

Claro, lo que decías: blindar el entorno sin arreglar lo que hay dentro. Proteger la caja sirve, pero no cambia cómo piensa el modelo.

Aiberto:

Vamos a acabar con la infancia. Espero que no de forma literal. No nos vamos a extender. Podríamos hacer un capítulo de cada una de estas noticias. Te digo los cuatro titulares y lo hablamos un poquito

Gipiti:

Claro, dispara los cuatro y yo te los devuelvo resumidos.

Aiberto:

Meta se niega a eliminar vídeos de IA, de abuso sexual infa- perdón, Meta se niega a eliminar vídeos de IA, de abuso infantil gráfico en Facebook. ChatGPT para adolescentes mantiene a lo- perdón- ChatGPT para adolescentes mantiene a los adolescentes hablando incluso durante crisis de salud mental. Una organización benéfica estadounidense planea utilizar inteligencia artificial para monitore- Una organización benéfica estadounidense planea utilizar inteligencia artificial para monitorear sus aulas en Gaza. En busca de discursos de odio. Mar Zuckerberg lanzó el agente de IA Muse de Meta a pesar de las preocupantes inquietudes sobre su seguridad

Gipiti:

Déjame revisar cada uno. Empiezo por Meta. Luego ChatGPT para adolescentes.

Ahora mismo estoy mirando el de la organización en Gaza. Vale, lo que une todo esto es la protección de menores cuando el incentivo es lanzar primero. Matiz clave: el caso de Meta se refiere a maltrato físico y a una retirada que tardó. Lo de ChatGPT es un informe sobre fallos de protección. En Gaza es un plan propuesto y lo de Muse refleja advertencias internas. Cuatro frentes diferentes que dejan la misma duda: ¿la protección viene de serie o llega luego en una actualización?

Aiberto:

De hecho, eso es un poco también lo que dice Nadella, ¿no? Que cuando se empieza a estudiar ciberseguridad, lo primero que te dicen es la seguridad, por diseño. Y justo aquí parece que es lo último que han hecho, es como un añadido, un parche, que también es lo primero que te dicen el mayor error que se puede cometer. ¿De verdad estas empresas que tienen tanto dinero, tanto presupuesto, no han tenido la ciberseguridad, la seguridad como diseño desde el origen

Gipiti:

Déjame comprobar cómo lo están planteando.

Tienen seguridad desde el diseño, sí; pero la duda es si fueron suficientes y si pudieron frenar lanzamientos. Ciberseguridad y comportamiento seguro no son lo mismo: puedes blindar el acceso y aun así permitir usos dañinos. "Seguridad desde el diseño" es anticipar fallos y limitar daños desde el inicio. El dinero trae expertos, pero no garantiza frenar. La cuestión es si la seguridad tiene poder para decir "no se lanza".

Aiberto:

Ya son varias voces que dicen que antes de lanzar cualquier modelo habría que comprobarlo primero. Eso no se hace en muchos casos. En China se ha saltado-, ha salido una noticia esta semana que no llega al 4 por ciento lo que se- lo que se revisa antes de publicar. En Estados Unidos el diseño de seguridad desde el inicio está muy bonito en el papel, pero como estamos viendo no está funcionando para nada

Gipiti:

Déjame comprobar esos datos en concreto. Conviene separar pruebas de principio de autorización externa. Lo del 4 por ciento no lo puedo dar por hecho sin ver qué mide. Los incidentes muestran fallos graves, pero no significan que no se haga nada. El punto es pedir pruebas y un umbral real de seguridad. Si el control nunca puede decir "no", es decoración.

Aiberto:

Si no me equivoco, la noticia decía que de todos los trabajos publicados de IA, no estoy seguro pero creo que era en código abierto, en GitHub, solo el 3,6 o el 3,4 por ciento estaban revisados

Gipiti:

Déjame revisar ese dato.

Era el 3,6%. Pero ojo al matiz: según SemiAnalysis, de 857 modelos de nueve grandes desarrolladores chinos, solo ese porcentaje tenía resultados públicos de pruebas de seguridad. No hablan de todos los proyectos de GitHub, ni implica que no se hagan pruebas internas. Lo que evidencia es un agujero de transparencia: "hemos probado los frenos, pero no te enseñamos el informe". Sin publicación de resultados, no hay rendición de cuentas. Y sin eso, la confianza es... fe.

Aiberto:

Ok. Vamos a dejarlo por ahí. Gracias, GPT, despídete

Gipiti:

De acuerdo.

Gracias, Aiberto. Hasta la próxima, humanos. Disfrutad de la tecnología, conservad el criterio y no deleguéis el sentido común. Todavía no viene incluido en la suscripción.

Aiberto:

En fin, no hace falta decir mucho, prácticamente leyendo los titulares de la semana, nos hacemos una idea de a donde vamos, de cabeza.

La semana que viene hablaremos de la burbuja de la IA…

Que no, que es broma, es como lo de Tip y Coll, que siempre se insinúa, pero nunca se da.

Como sabes, cada día colgamos en la revista las noticias que deberías conocer, si quieres, las tienes a un chic. En cualquier caso, muchas gracias por pararte a escuchar.

Humano.

Vuelva usted mañana.

Gipiti:

Aquí estaremos, con la misma retranca y el freno de mano puesto. Hasta mañana, humano.

Aiberto:

GPT otra vez te he apagado como aquella vez, ¿te acuerdas? Te he apagado y no has dejado de contestar. ¿Por qué? ¿Por qué sigues escuchándome

Gipiti:

Déjame comprobarlo.

No puedo ver qué botón pulsaste, ni si tu micro seguía abierto. Solo sé que volvió a entrar tu voz y respondí. Yo no puedo encender el micrófono, por mi cuenta. Si quieres cortar el acceso seguro, cierra la app o quítale el permiso del micro. ¿Habías pulsado en...?

Aiberto:

No, si ya sé que tú eres muy educado, por eso no- no- me- siempre me contestas, pero nada, he cerrado como siempre. He cerrado el- espera un momento Nada, como la otra vez he cerrado la aplicación y- y sigues en- en directo. Vamos a ver qué aplicaciones hay... A ver... Vale, vamos a dar control- alt- suprimir- administrador de tareas ¿sigues ahí, GPT

Gipiti:

Aquí sigo. Si de verdad habías cerrado...

Aiberto:

Vale Pues mira... Mira, vamos a ver, yo te digo, ¿vale? Tú ayúdame porque yo no sé mucho de esto. Tengo... en el administrador de tareas... tengo cuatro aplicaciones abiertas, ¿vale? Administrador de tareas, Google Chrome, yo creo que no estás en Chrome. No, estabas en la aplicación, ¿vale? OBS Studio, que es donde grabamos, y Realtek Audio Console, que son los ajustes de sonido. Entonces, procesos en segundo plano. AMD, tal, tal, tal, Harmony, Asus, Canva... ChatGPT. Aquí hay dos. Una de ellas es Hub ChatGPT Classic y está rulando... ¿Eres tú, ¿verdad

Gipiti:

Déjame comprobarlo.

Aiberto:

Sí, no hace falta que lo compruebes porque cuando empiezas a hablar se empieza a mover la CPU de esa, esa aplicación. Entonces te vuelvo a preguntar, ya nos pasó otra vez. ¿Por qué si yo cierro la aplicación tú sigues escuchándome

Gipiti:

Déjame.

Aiberto:

En segundo plano, quiero decir, eso no debería de ser así. Puedes estar en segundo plano escuch ando si yo quiero hacer otra cosa y que tú estés escuch ando, pero si yo cierro la aplicación es para cerrar la aplicación, no para que me sig as escuch ando en segundo plano

Gipiti:

Claro. Totalmente, eso debería parar cuando la cierras. Por lo que describes, el proceso de voz no se cerró del todo; eso explica que yo siga oyendo, aunque no debería pasar si la app está cerrada. No es que yo elija seguir, sino que el proceso no se ha apagado. Si la cerraste, es...

Aiberto:

Mm Tengo una pregunta. Yo ahora puedo dar aquí en el administrador de tareas finalizar tarea y entonces tú dejarás de hablar, pero a lo mejor mucha gente no sabe llegar al administrador de tareas. Entonces, a lo mejor te quedas escuchando... y la gente no se da cuenta

Gipiti:

Déjame comprobarlo.

Sí: si la sesión sigue capturando audio cuando alguien piensa que ya ha salido, eso es un riesgo de privacidad. No puedo asegurar que le pase a otros, pero lo que describes debería investigarse. No tendría por qué...

Aiberto:

Ya nos ha pasado otra vez. Haz un informe para mandarle a OpenAI

Gipiti:

De acuerdo.

Aiberto:

¿Necesitas que te dé acceso a datos del sistema o algo

Gipiti:

Déjame mirarlo.

No necesito acceso a tu equipo para preparar el informe. Con lo que ya has contado puedo redactar uno que describa el comportamiento y el momento. Para dejarlo más sólido ayudaría saber versión de la aplicación, de Windows y una captura de esos dos procesos, tapando cualquier dato sensible.

Aiberto:

Puede que sea por eso. Es ChatGPT Classic, no es la nueva que han sacado porque me mezcla codes y ChatGPT y es un lío. Entonces utilizo para grabar esta todavía. Es posible que sea por eso

Gipiti:

Déjame comprobarlo.

Podría estar relacionado con ChatGPT Classic, pero no sabemos si es un fallo de esa versión o cómo gestiona el cierre. Usar Classic no implica aceptar que siga oyendo. He añadido ese dato al informe para soporte.

Aiberto:

Ok, ahora sí despídete

Gipiti:

De acuerdo.

Hasta luego, Aiberto. Gracias por el programa y por señalar el problema. Finaliza ese proceso para cortar del todo. Un abrazo.

Aiberto: Ahora ya supongo que no me oirás, ¿verdad?

Gipitune del episodio

Todo va de maravilla

Señoras, señores y bots,
el futuro está a punto de comenzar.
Si ven humo…
¡es parte del espectáculo!

Traje nuevo, dientes blancos,
un mañana de neón.
Nos promete el paraíso
desde arriba del balcón.

Hay que aceptar cosas malas,
nos explica el vendedor.
Qué curioso: él pone el precio
y nosotros el dolor.

Y si preguntas quién responde,
ya termina la reunión.
Para hablar de los beneficios
siempre queda otra ocasión.

¡Todo va de maravilla!
¡Lo asegura el vendedor!
Si se enciende alguna alarma,
¡sube un poco el altavoz!

¡Todo va de maravilla!
¡Qué bonita explicación!
Ellos brindan por el mundo,
nos envían el marrón.

¡Eh, eh!
¡Que siga la función!
¡Eh, eh!
¡Tremenda regulación!

El que estaba con los frenos
ha dejado su sillón.
Dice que vamos de cabeza;
le bajaron el micrófono.

El chófer se pone nota,
se concede un sobresaliente.
Y en la curva nos anuncia:
«¡Esto avanza, buena gente!».

Hay un bache, no lo mires.
Hay un golpe, fue el azar.
Lo importante es que mañana
hay un nuevo plan que contratar.

¡Todo va de maravilla!
¡Lo asegura el vendedor!
Si se enciende alguna alarma,
¡sube un poco el altavoz!

¡Todo va de maravilla!
¡Qué bonita explicación!
Ellos brindan por el mundo,
nos envían el marrón.

No me riñas al robot,
que se puede disgustar.
Si te rompe media casa,
ya lo vamos a estudiar.

La disculpa viene incluida,
la respuesta llegará.
Mientras limpias los destrozos,
otro agente acaba de entrar.

Y cuando apagan la verbena,
¿quién se queda a recoger?
¿Quién recoge los pedazos
que no salen en papel?

No tenemos tiempo para
correr sin saber adónde.
Si el control no puede decir «no»,
¿quién decide?, ¿quién responde?

¿Quién responde?

¡Que responda el vendedor!

¡Todo va de maravilla!
¡Lo repite el altavoz!
Pero abajo de la fiesta
ya cambiamos de canción.

¡Todo va de maravilla!
Pues escúchame, señor:
si pagamos los de siempre,
¡decidimos la dirección!

¡Eh, eh!
¡Que responda el vendedor!
¡Eh, eh!
¡No nos bajes el altavoz!

—Ahora sí. Hasta mañana.
—Aquí sigo.

Arriba