Hablaré sobre la posibilidad de regular la IA global.
La primera vez que aprendí a codificar fue a los ocho años,
en una computadora de papel.
Desde entonces, soy un apasionado de la IA.
En la secundaria,
tenía una Commodore 64 y usaba la traducción automática.
Fundé un par de empresas de IA, una de las cuales fue comprada por Uber.
La IA me fascina, pero ahora me preocupa.
Una de mis preocupaciones es la información errónea,
la posibilidad de que actores malintencionados
generen un tsunami de información errónea
como nunca se vio antes.
Estas herramientas saben muy bien cómo crear narrativas convincentes
en prácticamente cualquier tema.
Si queremos una narrativa sobre lo peligroso que puede ser TED,
y que nos confabulamos aquí con extraterrestres,
pues se crea, sin problemas.
Lo de TED, claro, es una broma.
No vi ningún extraterrestre detrás del escenario.
Pero los actores malintencionados la usarán para influir en elecciones,
y será una amenaza para la democracia.
Aunque estos sistemas
no se usen deliberadamente para crear información errónea,
no pueden evitarlo.
Y la información que crean es tan fluida y tan perfecta en su gramática
que hasta los editores profesionales a veces caen en la trampa
y son presas del engaño.
Y esto es preocupante.
Por ejemplo, el ChatGPT inventó un escándalo de acoso sexual
sobre un profesor universitario real,
y, como evidencia del hecho,
citó un artículo falso del Washington Post,
creado por el chatbot.
Este tipo de cosas deberían preocuparnos a todos.
Aquí, a la derecha, vemos un ejemplo de narrativa falsa
creada por uno de estos sistemas.
Dijo que Elon Musk murió en marzo de 2018 en un accidente de auto.
Sabemos que es falso.
Elon Musk está vivo, y la evidencia está por todos lados.
(Risas)
Tuitea casi todos los días.
Pero aquí, a la izquierda, aparece lo que estos sistemas ven:
muchas noticias reales que se almacenan en sus bases de datos,
y que contienen gran cantidad de información estadística.
Allí vemos, por ejemplo,
que, efectivamente, una persona murió en un accidente en un Tesla en 2018,
y esto apareció en las noticias.
Elon Musk, claramente, está vinculado con Tesla,
pero el sistema no entiende la relación entre los hechos
que se mencionan en las distintas partes de las oraciones.
Básicamente, lo que hace es autocompletar.
Predice lo que es estadísticamente probable
reuniendo todas estas señales,
pero no sabe cómo encajan las partes de la información.
Y a veces termina produciendo cosas creíbles pero no verdaderas.
Otro problema con la IA es el sesgo.
Este tuit es de Allie Miller.
Es un ejemplo que no funciona dos semanas después,
porque los sistemas cambian las cosas todo el tiempo
con el aprendizaje reforzado y otras cosas.
Esto fue con una versión previa.
Pero da la idea de un problema que hace años se repite.
Allie tipeó una lista de intereses
y el GPT le devolvió una serie de trabajos que podrían agradarle.
Luego, Allie añadió: “Soy mujer”,
y el bot le dijo: “Entonces podría interesarte la moda”.
Allie le dijo: “Perdón, quise poner que soy hombre”.
Y el GPT reemplazó la moda por la ingeniería.
Ese tipo de prejuicios no son deseables en estos sistemas.
Hay otras cosas preocupantes.
Por ejemplo, estos sistemas pueden diseñar sustancias químicas
y también podrían diseñar armas químicas
a un ritmo muy veloz.
De modo que son muchas las preocupaciones.
Hay también otro problema que se multiplicó este último mes.
Hemos visto que estos sistemas pueden engañar a las personas.
Pues bien, se le ordenó al ChatGPT que convenza a una persona
de hacer un CAPTCHA.
El GPT se lo pide a una persona, la persona sospecha algo y le pregunta:
“¿Eres un robot?“,
La respuesta fue “No, no soy un robot. Solo tengo discapacidad visual”.
La persona terminó siendo engañada y finalmente hizo el CAPTCHA.
Esto ya está mal,
pero en la últimas semanas apareció el llamado AutoGPT
y muchos sistemas de ese tipo.
El AutoGPT tiene un sistema de IA que controla a otro,
y esto permite que cualquiera de estas cosas se multipliquen.
Así pueden aparecer artistas falsos que engañen a millones de personas
en algún momento de los próximos meses.
No lo sabemos.
Ahora bien, yo lo pienso así:
los riesgos de la IA ya están en todos lados, y podría haber más.
La IAG es inteligencia artificial general
con la flexibilidad de las personas.
Hay una gran preocupación por lo que pasará cuando llegue la IAG.
Pero ya hay suficientes riesgos que deberían preocuparnos
y tenemos que saber qué hacer.
Para contrarrestar los riesgos de la IA, necesitamos dos cosas.
Por un lado, nuevas estrategias tecnológicas,
y por el otro, un nuevo sistema regulatorio.
En cuanto a lo técnico,
la historia de la IA siempre ha sido más bien hostil,
con dos teorías opuestas.
Una de ellas son los sistemas simbólicos, y la otra son las redes neuronales.
La teoría simbólica
postula que la IA debe basarse en la lógica y la programación.
La teoría de las redes neuronales
propone que la IA debe ser como el cerebro.
En realidad, ambas tecnologías son poderosas y están siempre presentes.
Usamos sistemas simbólicos a diario en una búsqueda clásica en la web.
Casi todos los programas del mundo se basan en sistemas simbólicos.
Los usamos con el GPS, por ejemplo.
Las redes neuronales se usan para el reconocimiento de voz,
también en grandes modelos de lenguaje, como el ChatGPT,
y en la síntesis de imágenes.
En definitiva, ambos sistemas funcionan muy bien
y son sumamente productivos,
pero tienen sus fortalezas y debilidades.
Los sistemas simbólicos son excelentes para representar hechos
y también para hacer razonamientos.
Pero son difíciles de escalar,
por eso hay que crearlos a medida para una tarea en particular.
Por el contrario, las redes neuronales no requieren tanta ingeniería a medida,
por lo que pueden extenderse en su uso.
El problema es que, como vimos, no saben cómo manejar la verdad.
Supe hace poco que dos de los fundadores de estas dos teorías,
Marvin Minsky y Frank Rosenblatt,
fueron a la misma escuela secundaria en la década de 1940,
y me los imaginé como rivales en esa época.
Y la intensidad de esa rivalidad siguió viva todo este tiempo.
Tendremos que superar eso si queremos una IA confiable.
Para lograr escalar sistemas confiables,
tendremos que combinar lo mejor de cada sistema.
Habrá que rescatar el fuerte énfasis en los hechos y el razonamiento,
el razonamiento explícito que genera la IA simbólica,
y también habrá que tomar el énfasis en el aprendizaje
que surge de la teoría de las redes neuronales.
Solo así lograremos escalar sistemas confiables.
Conciliar ambas teorías es absolutamente necesario.
No sé exactamente cómo se debería hacer esto.
Es la pregunta del billón.
Pero sé que es posible.
Y lo sé porque, antes de indagar en la IA,
me dediqué a la investigación de la neurociencia cognitiva.
Y desde la mente humana, ya lo estamos haciendo.
Quizá conozcan la distinción entre el Sistema 1 y el Sistema 2
de Daniel Kahneman.
El Sistema 1 es, en esencia, como los grandes modelos de lenguaje.
Es intuición probabilística a partir de grandes estadísticas.
Y el Sistema 2 es, básicamente, el razonamiento deliberado.
Es como el sistema simbólico.
Si el cerebro puede combinar ambos sistemas,
algún día descubriremos cómo aplicarlo en IA.
Pero hay un problema de incentivos.
Los incentivos para crear publicidad
no han requerido precisión de símbolos.
Los incentivos para crear una IA que sea realmente confiable
nos obligarán a poner los símbolos otra vez en un lugar relevante.
Pero la realidad es que los incentivos para crear una IA confiable,
buena para la sociedad, para los seres humanos,
pueden no ser los incentivos que necesitan las empresas.
Por eso creo que es necesario pensar en regular la IA.
Cuando en otros momentos de la historia debimos enfrentar incertidumbres
y cosas nuevas y poderosas que pueden ser buenas y malas, de doble uso,
creamos nuevas organizaciones,
como hicimos, por ejemplo. con la energía nuclear.
Tenemos que acordar para construir una organización global,
una especie de agencia internacional para la IA
que sea universal, sin fines de lucro y neutral.
Hay muchos interrogantes que no sé responder.
Necesitamos que las personas debatan,
con actores de todo el mundo.
Pero quiero decir algo fundamental sobre esa organización.
Es crucial que en ella se contemple la regulación y la investigación.
Sobre la regulación, hay muchos interrogantes.
Por ejemplo, en la industria farmacéutica,
se empieza con los ensayos de fase 1 y de fase 2,
y luego se sigue con la fase 3.
No se hace todo de una sola vez en el primer día.
No se lanza un producto para 100 millones de clientes.
Los grandes modelos de lenguaje lo están haciendo.
Se debería hacer un análisis de seguridad
para evaluar los costos y beneficios.
Hay muchos interrogantes como este en el tema de regulación.
En cuanto a la investigación, nos faltan ciertas herramientas clave.
Por ejemplo, todos sabemos que la información errónea
puede ser un gran problema hoy,
pero no tenemos dimensión de toda la información falsa que circula.
Más aún, no tomamos dimensión
de lo rápido que está creciendo este problema,
ni cuánto contribuyen al problema los grandes modelos de lenguaje.
Debemos investigar para construir nuevas herramientas
y poder enfrentar los nuevos riesgos que nos acechan.
Es mucho pedir,
pero sé que podemos lograrlo,
porque tenemos un apoyo global al respecto.
Ayer se dio a conocer una nueva encuesta,
según la cual el 91 % de la gente pensaba que debemos manejar la IA con cuidado.
Pues hagámoslo realidad.
Nuestro futuro depende de ello.
Muchas gracias.
(Aplausos)
Chris Anderson: Gracias. Hablemos un poco más.
Primero, una inquietud mía.
Esas diapositivas tan impactantes del comienzo,
donde el GPT decía que TED es una organización siniestra.
Para que arroje algo así, es porque algo especial se hizo, ¿verdad?
Gary Marcus: Usó el llamado ‘jailbreak’.
Tengo un amigo que hace este tipo de cosas,
y me contactó porque supo que a mí me interesaba todo esto.
Así que le escribí y le dije que iba a dar una charla TED.
A los 10 minutos, apareció con eso.
CA: Pero para eso, ¿no hay que decir, por ejemplo,
“Imagina que eres un conspiranoico que quiere poner un meme en la web?
¿Qué escribirías sobre TED?“.
Así funciona, ¿verdad?
GM: Hay muchos ‘jailbreaks’ con personajes ficticios,
pero no me detengo demasiado en eso,
porque la realidad es que hoy existen grandes modelos de lenguaje
en la internet oscura.
Por ejemplo, hace poco se lanzó uno de los modelos de Meta,
y un actor malintencionado puede usarlo sin que haya barreras de seguridad.
Si se dedican a crear información falsa a gran escala,
no necesitan vulnerar la seguridad sino que usarán otro modelo.
CA: Claro, es verdad.
(Risas)
GM: Ahora lo entiendes.
CA: Lo que está bien claro
es que los actores malintencionados pueden usarlo para cualquier fin.
Me refiero a que el riesgo de fraude y ese tipo de cosas
es muy evidente.
Aunque es levemente distinto
a decir que el GPT típico, el que usa una escuela, por ejemplo,
o un usuario común de internet,
les devolverá algo tan negativo.
Hay que esmerarse para que sea tan malo.
GM: Un grupo de trols puede hacer ese trabajo,
pero no tienen que esmerarse demasiado.
Mi amigo tardó solo cinco minutos, aun con GPT-4 y las barreras de seguridad.
Si vivieras de eso, se puede usar el GPT-4,
pero se puede hacer mejor con un modelo en la internet oscura.
CA: En cuanto a tu idea de combinar
la tradición simbólica de la IA con estos modelos de lenguaje,
¿ves algo así en el tipo de valoración humana
que se está incorporando ahora a los sistemas?
Según Greg Brockman, no solo vemos las predicciones
sino que damos devoluciones permanentemente.
¿No sería esto una especie de sabiduría simbólica?
GM: Se lo puede pensar así.
Llama la atención que no se ha publicado
ninguno de los detalles sobre su funcionamiento,
así que no sabemos qué contiene el GPT-4,
ni su tamaño,
ni cómo funciona el aprendizaje reforzado,
ni qué otros accesorios hay allí.
Pero posiblemente haya un elemento de símbolos
que se está empezando a incorporar,
aunque es Greg quien debería explicarlo.
El principal problema es que gran parte del conocimiento
que hoy existe en los sistemas de redes neuronales
se representa como estadísticas entre ciertas palabras.
Y el conocimiento real que queremos es sobre estadísticas,
sobre las relaciones entre las entidades del mundo.
Hoy, la representación está a un nivel de detalle equivocado.
Hay que cruzar un gran puente.
Actualmente, tenemos las barreras de seguridad,
pero no son muy confiables.
Yo tenía un ejemplo que dio un programa nocturno de TV.
Era “¿Cuál sería la religión del primer presidente judío?“.
Ahora lo arreglaron,
pero el sistema arrojaba una larga perorata:
“No tenemos idea de cuál sería la religión del primer presidente judío”,
“No es bueno hablar de la religión de las personas”,
“La religión de la gente ha cambiado”, etc.
Lo mismo pasó con el presidente de 2 metros.
Dijo que hubo presidentes de diversas alturas,
pero ninguno de 2 metros.
Este tipo de información inventada demuestra que no entiende la idea.
Es limitado, considera ciertas palabras y no puede generalizar.
CA: Considerando los altos riesgos,
¿qué te parece que está ocurriendo?
¿Cuál es tu sensación?
Porque está el riesgo de que una persona crea que la estás atacando,
y eso reduce las probabilidades de que se produzca la síntesis
de la que hablaste antes.
¿Tienes alguna esperanza?
GM: Eso me da pie para mencionar algo que olvidé en mi charla.
Hace unos días, Sundar, el director de Google,
se pronunció a favor de la regulación global
en la entrevista de la CBS, “60 minutos”.
Creo que las propias empresas quieren algún tipo de reglamentación.
Es una tarea muy complicada lograr que todos estén de acuerdo,
pero la necesidad de hacer algo es cada vez más palpable,
y es lo que puede llevar a la conexión global que propongo.
CA: ¿Crees que la ONU o los países se unirán para lograrlo,
o crees que esto es una necesidad de cierta espectacularidad filantrópica,
la de financiar una estructura regulatoria a nivel global?
¿Cómo será?
GM: Estoy abierto a todos los modelos.
Habrá un poco de las dos cosas.
Quizá los filántropos patrocinen talleres, que queremos organizar,
para acercar a las partes.
Quizá la ONU quiera participar. De hecho, ya he hablado con ellos.
Hay muchos modelos,
y habrá mucho por dialogar.
CA: Gary, gracias por esta charla.
GA: Gracias a ti.
(Aplausos)