Dario Amodei Desvela el Futuro de la IA: Seguridad, Costos y Más

Hola humanos, ya está, todo llega, viernes 19

Soy Floppy y esto es un podcast de IA por y para ti…

Hola Gipiti…

(((Hola amigos, bienvenidos un día más a este proceso, os deseo una gran víspera de finde. ¿No vas a avisar de los cambios?)))

Sí, no te preocupes, no se me había olvidado, a partir de ahora, invertimos el orden del

fin de semana, el sábado tendremos a Gipiti con los mejores momentos del podcast

y el domingo haremos el especial, esta semana será de lo que parece puede ser el futuro de la IA.

Como ya dijimos el lunes Yann LeCun, científico jefe de IA de Meta y uno de los nombres más

importantes en el mundo de la Inteligencia Artificial, está trabajando en un enfoque diferente en

el desarrollo de la IA del futuro, la arquitectura de predicción de incrustación conjunta (JEPA)

Es un cambio que puede ser radical hacia el desarrollo de la ansiada AGI.

Pero eso será el domingo, como decíamos ayer…

hoy hablamos de la entrevista que Ezra Klein le hizo a Dario Amodei

(cofundador y CEO de Anthropic) en su podcast, "The Ezra Klein Show".

Acompáñanos…

Ezra Klein: Ezra Klein es un periodista, autor y analista político estadounidense.

Es el fundador de Vox, un medio de comunicación en línea que se centra en proporcionar

explicaciones claras y detalladas de temas de actualidad y políticas complejas. Antes de fundar Vox,

Klein trabajó en el Washington Post y en Bloomberg News. En su podcast, entrevista a expertos

y figuras públicas sobre una amplia gama de temas.

Dario Amodei: Es un investigador en inteligencia artificial, conocido por su trabajo en la seguridad

y ética de los sistemas de IA. Ha trabajado en importantes organizaciones de investigación de IA,

incluidas OpenAI y Google. En OpenAI, Amodei contribuyó significativamente al desarrollo de

modelos de lenguaje y tecnologías de IA seguras. Su investigación se ha centrado en entender

y mitigar los riesgos potenciales asociados con los avances en IA, especialmente en lo que respecta

a la creación de sistemas que actúen de manera segura y alineada con los valores humanos.

Actualmente es el cofundador y CEO de Anthropic, una empresa de investigación de inteligencia

artificial enfocada en la seguridad y la creación de sistemas de IA confiables, interpretables

y dirigibles. Después de su paso por OpenAI, donde fue vicepresidente de investigación,

Amodei fundó Anthropic con el objetivo de abordar algunos de los desafíos

y riesgos asociados con la IA avanzada .

Todas las frases están sacadas literalmente de la entrevista, no hemos añadido nada,

nos parece que este es el enfoque que tienen que tener la IA…

Si quieres leer el artículo está en la web, junto con el enlace a la transcripción original.

### Dario Amodei, alguien tiene que hacerlo.

Aproximadamente en 2020. GPT-3 acababa de salir. Todavía no estaba disponible

como bot de chat. Lideré el desarrollo de eso junto con el equipo que finalmente se fue para

unirse a Anthropic. Y tal vez durante todo el período de 2021 y 2022, a pesar de que continuamos

entrenando modelos que eran cada vez mejores, y OpenAI continuó entrenando modelos, y

Google continuó entrenando modelos, hubo sorprendentemente poca atención pública.

Hemos visto algo de eso con Claude 3, donde la gente siente que algunos de los otros

modelos suenan como un robot y que hablar con Claude 3 es más natural.

Creo que todo eso vendrá en los próximos tres a 18 meses, con niveles crecientes de habilidad.

Creo que eso va a cambiar la forma en que la gente piensa sobre la IA, donde hasta ahora, ha sido

muy pasivo, es como, voy al Oráculo. Le hago una pregunta y el Oráculo me dice cosas. Y

algunas personas piensan que eso es emocionante, otras piensan que es aterrador.

Una anécdota que tengo de cuando estábamos desarrollando modelos en 2022, y esto es antes

de que hubiéramos conectado los modelos a nada, es que podías tener una conversación

con estos modelos puramente textuales en la que podías decir, oye, quiero reservar una cena

en el restaurante X de San Francisco, y el modelo decía: Bien, aquí está el sitio web del restaurante

X. Y en realidad te daría un sitio web correcto o te diría que vayas a Open Table o algo así.

Y, por supuesto, no puede ir al sitio web. El enchufe de alimentación en realidad no está enchufado,

¿verdad? El cerebro del robot en realidad no está unido a sus brazos y piernas.

Pero te dio la sensación de que el cerebro, todo lo que necesitaba hacer era aprender exactamente

cómo usar los brazos y las piernas, ¿verdad? Ya tenía una imagen del mundo y de dónde caminaría

y qué haría. Y así, parecía que había una barrera muy delgada entre los modelos pasivos

que teníamos y los que realmente actuaban en el mundo.

En términos de lo que necesitamos para que funcione, solo es una cosa, literalmente, solo

necesitamos un poco más de escala. Y creo que la razón por la que vamos a necesitar más escala

es que, para hacer una de esas cosas que describiste, para hacer todas las cosas que hace un

ingeniero de software junior, implican cadenas de acciones largas.

Y entonces, mi conjetura, no estoy seguro, es que para que estas cosas realmente funcionen bien,

necesitamos tal vez de en 3 a 24 meses o algo así.

Creo que lo segundo es que hay que hacer un trabajo algorítmico sobre cómo hacer que los

modelos interactúen con el mundo de esta manera. Creo que las técnicas básicas que tenemos,

un método llamado aprendizaje por refuerzo y sus variaciones, probablemente estén a la altura

de la tarea, pero averiguar exactamente cómo usarlo para obtener los resultados

que queremos probablemente llevará algún tiempo.

Y luego, en tercer lugar, creo, y esto nos lleva a algo en lo que Anthropic realmente se especializa,

es la seguridad y la capacidad de control. Y creo que eso va a ser un gran problema para estos

modelos que actúan en el mundo, ¿verdad? Digamos que este modelo está escribiendo código

para mí, e introduce un error de seguridad grave en el código, o está tomando acciones en la

computadora por mí y modificando el estado de mi computadora de maneras

que son demasiado complicadas para que yo las entienda.

Por lo tanto, vamos a tener que averiguar qué es seguro y controlable. Cuanto más abierta

es la cosa, más poderosa es, pero también, más peligrosa es y más difícil es controlarla.

Así que creo que esas preguntas, aunque suenen elevadas y abstractas, se van a convertir en

preguntas prácticas sobre productos que nosotros y otras empresas vamos a tratar de abordar.

Vamos a tener que hacer modelos más grandes que usen más computación por iteración.

Vamos a tener que ejecutarlos durante más tiempo alimentándolos con más datos.

Y ese número de chips multiplicado por la cantidad de tiempo que ejecutamos las cosas en chips

es esencialmente valor en dólares porque estos chips son, los alquilas por hora.

Ese es el modelo más común para ello. Y así, los modelos actuales cuestan del orden de

100 millones de dólares para entrenar, más o menos.

Los modelos que están en entrenamiento ahora y que saldrán en varios momentos a finales

de este año o principios del próximo tienen un costo más cercano a los 1.000 millones de dólares.

Así que eso ya está ocurriendo. Y luego creo que en 2025 y 2026, obtendremos más de

5 o 10 mil millones de dólares.

Es intelectualmente honesto decir que la construcción de modelos a gran escala, la ingeniería

del modelo básico de base, se está volviendo cada vez más caro. Y cualquiera que quiera

construir uno va a tener que encontrar alguna forma de financiarlo. Y la mayoría de las formas,

¿verdad? Puedes ser una gran empresa. Puede tener algún tipo de asociación de varios

tipos con una gran empresa. O los gobiernos serían la otra fuente.

Debemos tener en cuenta que la cosecha actual de IA que existen, ¿verdad?, incluidos Claude 3,

GPT, Gemini, todos están entrenados con alguna variante de lo que se llama aprendizaje

por refuerzo a partir de la retroalimentación humana.

Deberíamos pensar en general. Los humanos somos generales. El cerebro humano parece

ser general. Parece obtener mucho kilometraje al generalizar. Deberías ir en esa dirección.

Me siento así con respecto a A.G.I. Ahora tenemos sistemas muy generales. En cierto modo,

son mejores que los humanos. De alguna manera, son peores. Hay una serie de cosas que no

pueden hacer en absoluto. Y aún queda mucho por mejorar.

Creo que en algún momento, los biólogos se sentarán

y tomarán nota, mucho más de lo que ya lo han hecho, y dirán, oh, Dios mío, ahora nuestro

campo se está moviendo tres veces más rápido que antes. Y ahora se mueve 10 veces más

rápido que antes. Y de nuevo, cuando llegue ese momento, van a pasar grandes cosas.

Y ya hemos visto pequeños indicios de eso con cosas como AlphaFold, por el que tengo un

gran respeto. Me inspiré en AlphaFold, ¿verdad? Un uso directo de la IA para hacer avanzar

la ciencia biológica, que hará avanzar la ciencia básica. A largo plazo, eso hará avanzar la cura

de todo tipo de enfermedades. Pero creo que lo que necesitamos son como 100 AlphaFolds

diferentes.

Pero cuando la IA pueda pensar en todo el proceso, tal vez se les ocurran soluciones que aún

no tenemos.

Mi mente naturalmente se dirige a que la tecnología se está desarrollando muy rápido.

Nosotros, como empresa, podemos prohibir estos casos de uso en particular, pero no podemos

hacer que todas las empresas no los hagan. Incluso si se aprobara una legislación en los Estados

Unidos, hay actores extranjeros que tienen su propia versión de esta persuasión, ¿verdad?

Si pienso en lo que los modelos lingüísticos serán capaces de hacer en el futuro, eso puede ser

bastante aterrador desde una perspectiva de espionaje extranjero y campañas de desinformación.

Tenemos equipos muy importantes que intentan centrarse en asegurarse de que los modelos

sean precisos en cuanto a los hechos, que digan la verdad, que basen sus datos

en información externa.

Anthropic ha estado trabajando desde el comienzo

de nuestra empresa, hemos tenido un equipo que se enfoca en tratar de entender

y mirar dentro de los modelos.

Parece que está

sucediendo algo en lo que los modelos parecen necesitar tener una imagen del mundo

y hacer una distinción entre las cosas que son verdaderas y las que no lo son.

Si piensas en cómo se entrenan los modelos, leen un montón de cosas en Internet. Mucho de eso

es cierto. Algo de eso, más de lo que nos gustaría, es falso.

Pero también, tenemos que mantenernos al día con el mercado. Así que todo esto es en

gran medida un dilema, ¿verdad? Incluso si nos detuviéramos, entonces están todas

estas otras compañías en los EE. UU. E incluso si alguna ley detuviera a todas las empresas

en los EE. UU., hay todo un mundo de esto.

los modelos que hemos entrenado, como Claude 3 Opus, tienen una precisión del 99,9 por ciento,

al menos el modelo base, en la suma de números de 20 dígitos. Si nos fijamos en los datos de

entrenamiento en Internet, no son tan precisos a la hora de sumar números de 20 dígitos.

Encontrarás aritmética inexacta en Internet todo el tiempo, al igual que encontrarás opiniones

políticas inexactas. Encontrarás vistas técnicas inexactas.

Vas a encontrar muchas afirmaciones inexactas.

Pero los modelos, a pesar del hecho de que están equivocados en un montón de cosas, a menudo

pueden funcionar mejor que el promedio de los datos que ven.

A finales del año pasado, lanzamos algo llamado plan de escalamiento responsable.

Así que la idea es llegar a estos umbrales para que un sistema de IA sea capaz de ciertas cosas.

Tenemos lo que llamamos niveles de seguridad de IA que, en analogía con los niveles de

bioseguridad, que son como, clasifican qué tan peligroso es un virus y, por lo tanto, qué protocolos

hay que tomar para contenerlo, actualmente estamos en lo que describimos como A.S.L. 2.

A.S.L. 3 está vinculado a ciertos riesgos en torno al modelo de mal uso de la biología y la capacidad

de realizar ciertas tareas cibernéticas de una manera que podría ser destructiva. A.S.L. 4 va a

cubrir cosas como la autonomía, cosas como probablemente la persuasión.

Y en cada nivel, especificamos una cierta cantidad de investigación de

seguridad que tenemos que hacer, una cierta cantidad de pruebas que tenemos que pasar.

Y así, esto nos permite tener un marco para, bueno, ¿cuándo deberíamos reducir la velocidad?

¿Deberíamos ir más despacio ahora? ¿Y el resto del mercado?

OpenAI salió con algo similar. Le dieron un nombre diferente, pero tiene muchas propiedades

en común. El jefe de DeepMind en Google dijo que estamos trabajando en un marco similar.

Y he escuchado informalmente que Microsoft podría estar trabajando en un marco similar.

Y estamos empezando a verlo. Se han propuesto proyectos de ley que se parecen un poco

a nuestro plan de escalamiento responsable. Dicho esto, no resuelve completamente el problema

de, digamos, que llegamos a uno de estos umbrales y necesitamos entender lo que está

sucediendo dentro del modelo. Y no lo hacemos, y la receta es, OK, tenemos que dejar

de desarrollar los modelos durante algún tiempo.

Así que no me siento perfectamente satisfecho con este enfoque porque creo que nos da algo

de tiempo, pero vamos a tener que combinarlo con un esfuerzo increíblemente fuerte

para entender lo que está sucediendo dentro de los modelos.

Tengo un pensamiento y realmente quiero seguir adelante con respecto a los R.S.P.s.

Plan de Escalamiento Responsable, de lo que hablaba antes. Los niveles de seguridad de la IA y,

en particular, vincular las decisiones de pausar el escalado a la medición de peligros específicos

o la ausencia de la capacidad de mostrar seguridad o la presencia de ciertas capacidades.

Soy alguien que piensa que los beneficios de esta tecnología van a superar sus costos. Y creo

que la idea detrás de RSP es prepararse para presentar ese caso, si los peligros son reales.

Si no son reales, entonces podemos proceder y hacer cosas que sean grandiosas y maravillosas

para el mundo. Y, por lo tanto, tiene la flexibilidad de funcionar en ambos sentidos.

Nos preocuparía que Corea del Norte, China o Rusia pudieran mejorar en gran medida

sus capacidades ofensivas en varias áreas militares con inteligencia artificial de una manera que

les daría una ventaja sustancial a nivel geopolítico. Y en cuanto a la autonomía, varias medidas

de estos modelos están bastante cerca de poder replicarse y sobrevivir en la naturaleza.

Creo que A.S.L. 4 podría ocurrir entre 2025 y 2028.

No estoy hablando de 50 años de distancia.

Creo que este puede terminar siendo el mayor problema geopolítico de nuestro tiempo.

Espero que haya una gran crisis de suministro en torno a los centros de datos, en torno a los chips,

y en torno a la energía, tanto por razones regulatorias como físicas, en algún momento de los

próximos años. Y eso es un riesgo, pero también es una oportunidad. Creo que es una

oportunidad para pensar en cómo se puede gobernar la tecnología.

Y también es una oportunidad, lo repito de nuevo, para pensar en cómo pueden liderar las

democracias. Creo que sería muy peligroso que los líderes en esta tecnología y los poseedores

de los principales recursos fueran países autoritarios. La combinación de inteligencia artificial

y autoritarismo, tanto a nivel interno como internacional, es muy aterradora para mí.

Creo que tenemos un problema más amplio, que es que, independientemente de cómo se haya

entrenado, seguiría siendo el caso de que estamos construyendo sistemas cognitivos cada vez

más generales, y que esos sistemas crearán disrupción. Tal vez no necesariamente reemplazando

a los humanos uno por uno, pero realmente van a cambiar la forma en que funciona

la economía y qué habilidades se valoran. Y necesitamos una solución a ese amplio

problema macroeconómico, ¿verdad?

¿cómo se organiza económicamente la sociedad? ¿Cómo encuentra la gente el trabajo

y el sentido y todo eso?

Creo que puede cambiar fundamentalmente las industrias y profesiones una por una de

maneras que son difíciles de predecir. Y así, siento que solo tengo clichés aquí.

Como familiarizarse con la tecnología.

Enseñe a sus hijos a ser adaptables, a estar preparados para un mundo que cambia muy

rápidamente. Ojalá tuviera mejores respuestas, pero creo que eso es lo mejor que obtuve.

Siento que halla sido tan largo, pero me he dejado más de la mitad y me parece tan

interesante y real, que no podía por menos que contároslo… Hoy todas las frases han

sido de Dario Amodei, mañana os dejo con Gipiti, a ver que le da por poneros,

El domingo el especial sobre lo que nos viene, maquinas que comprenden el mundo,

no va a ser ya, pero ya están en ello.

Muchas gracias por estar y muchas gracias por escuchar humano,

Vuelva usted mañana.