Venho aqui falar sobre a possibilidade de um controlo mundial da IA.
Aprendi a codificar quando tinha oito anos,
num computador de papel,
e apaixonei-me pela IA desde então.
Na escola secundária,
arranjei um Commodore 64 e trabalhei em tradução automática.
Criei duas empresas de IA, vendi uma delas à Uber.
Eu adoro a IA, mas neste momento estou preocupado.
Uma das coisas que me preocupa é a desinformação,
a possibilidade de que pessoas de mau caráter façam um tsunami de desinformação
como nunca vimos.
Estas ferramentas são excelentes em fazer narrativas convincentes
sobre seja o que for.
Se quiserem uma narrativa sobre a TED e como ela é perigosa
porque somos coniventes aqui com extraterrestres,
aqui a têm, não há problema.
Claro que estou a brincar com a TED.
Não vi nenhum extraterrestre nos bastidores.
Mas há maus caracteres que vão usar estas coisas para influenciar eleições,
e vão ameaçar a democracia.
Mesmo quando esses sistemas
não estão a ser usados deliberadamente para lançar desinformação,
não podem impedir-se.
As informações que eles fazem são tão fluidas e tão gramaticais
que até os editores profissionais por vezes são apanhados
e são enganados por isso.
Devemos estar preocupados.
Por exemplo, o ChatGPT criou um escândalo de assédio sexual
sobre um professor real
e depois apresentou prova das suas afirmações
sob a forma de um falso artigo do “Washington Post”
para o qual criou uma citação.
Devemos estar preocupados sobre este tipo de coisas.
O que eu tenho aqui à direita é um exemplo duma narrativa falsa
de um destes sistemas,
dizendo que Elon Musk morreu em março de 2018, num acidente de viação.
Todos sabemos que não é verdade.
Elon Musk continua vivo, a prova está à nossa volta.
(Risos)
Quase todos os dias há um tweet.
Mas se olharem para a esquerda, veem o que estes sistemas veem.
Montes e montes de novas notícias que se encontram nos seus bancos de dados.
Nessas notícias há milhentos bits de informações estatísticas.
Informações, por exemplo,
de alguém que morre num acidente de viação num Tesla em 2018
que apareceu nos jornais.
E Elon Musk, claro, está relacionado com a Tesla,
mas o sistema não compreende a relação
entre os factos que estão contidos nos bits das frases.
Portanto, basicamente, autocompleta-se,
prevê o que estatisticamente é provável.
agregando todos esses sinais,
sem saber como as peças se encaixam bem.
E, por vezes, acabam com coisas que são plausíveis mas não são verdade.
Também há outros problemas, como os preconceitos.
Este é um tweet de Allie Miller.
É um exemplo que não funciona duas semanas depois
porque estão sempre a mudar as coisas
com o reforço da aprendizagem, etc.
Esta é uma versão mais antiga.
Mas dá-nos uma ideia de um problema que já detetámos há muitos anos.
Ela escreveu uma lista de interesses
e a IA deu-lhe alguns empregos que ela podia querer considerar.
Depois, ela disse: “É verdade, eu sou uma mulher.”
E a IA disse: “OK, também deves considerar a moda.”
E ela disse: “Não, não, enganei-me, eu sou um homem.”
Então, a IA substituiu a moda por engenharia.
Não queremos este tipo de preconceitos nos nossos sistemas.
Também há outras preocupações.
Por exemplo, sabemos que estes sistemas podem conceber produtos químicos
e talvez conceber armas químicas
e fazerem isso muito depressa.
Portanto, há muitas preocupações.
Também há uma outra preocupação que suponho apareceu no mês passado.
Já vimos que estes sistemas, conseguem enganar os seres humanos.
Então, o ChatGP foi encarregado de levar um ser humano a fazer o teste CAPTCHA.
Assim, ele pediu ao ser humano que fizesse um CAPTCHA
e o ser humano, desconfiado, diz:
“És um robô?”
E ele disse: “Não, não sou um robô.
“Só tenho uma deficiência visual”
O ser humano foi enganado e fez o teste CAPTCHA.
Isto já é suficientemente mau,
mas nas últimas semanas temos visto uma coisa chamada AutoGPT
e uma série de sistemas destes.
O AutoGPT tem um sistema de IA a controlar outro
e isso permite que estas coisas aconteçam em grande quantidade.
Podemos vir a ver burlões tentarem vigarizar milhões de pessoas
talvez já nos próximos meses.
Não sabemos.
Prefiro pensar deste modo.
Já há muitos riscos na IA.
Pode vir a haver ainda mais riscos.
A IAG é a ideia da Inteligência Artificial Geral
com a flexibilidade dos seres humanos.
Penso que muita gente anda preocupada com o que acontecerá quando tivermos IAG,
mas já há riscos suficientes que nos deviam preocupar
e devíamos estar a pensar no que devemos fazer quanto a isso.
Para minimizar os riscos da IA, precisamos de duas coisas.
Vamos precisar de uma nova abordagem técnica,
e também vamos precisar de um novo sistema de controlo.
Pelo lado técnico,
a história da IA tem sido hostil, basicamente,
de duas teorias diferentes e opostas.
Uma chama-se sistemas simbólicos, a outra chama-se redes neurais.
Na teoria simbólica,
a ideia é que a IA deve ser como a lógica e a programação.
Na rede neural,
a teoria é de que a IA deve ser como o cérebro.
Com efeito, ambas as tecnologias são poderosas e omnipresentes.
Usamos sistemas simbólicos todos os dias na clássica pesquisa na Internet.
Quase todos os softwares do mundo são alimentados por sistemas simbólicos.
Usamo-los para a orientação por GPS.
Usamos as redes neurais para reconhecimento da voz.
Usamo-las em modelos de linguagem como o ChatGPT,
usamo-las na síntese de imagens.
Ambas estão a fazer um bom trabalho mundialmente.
Ambas são muito produtivas,
mas têm as suas forças e as suas fraquezas.
Os sistemas simbólico são muito bons em representar factos
e são muito bons em raciocinar,
mas são muito difíceis de ordenar.
Por isso as pessoas têm de os construir à medida para uma determinada tarefa.
Por outro lado, as redes neurais não exigem tanta engenharia personalizada
por isso podemos usá-las de forma mais alargada.
Mas, como vimos, não conseguem lidar com a verdade.
Há pouco tempo descobri que dois dos fundadores destas duas teorias,
Marvin Minsky e Frank Rosenblatt,
andaram na mesma escola secundária nos anos 40,
e eu imagino que eles seriam rivais, nessa época.
A força dessa rivalidade persistiu durante todo este tempo.
Vamos ter de ultrapassar isso depressa se queremos ter uma IA fiável.
Para conseguir sistemas fiáveis em grande escala,
vamos precisar de reunir o melhor dos dois mundos.
Vamos precisar do fator forte do raciocínio e dos factos,
o raciocínio explícito que obtemos da IA simbólica,
e vamos precisar do fator forte da aprendizagem
que obtemos da abordagem das redes neurais.
Só assim conseguiremos ter sistemas fiáveis em grande escala.
A reconciliação entre os dois é fundamental.
Eu não sei como fazer isso.
É como a pergunta dos 64 biliões de dólares.
Mas sei que é possível.
A razão por que sei isso é porque já estive na IA,
era um cientista cognitivo, um neurocientista cognitivo.
Se olharmos para o cérebro humano, é o que fazemos basicamente.
Alguns aqui podem conhecer a distinção
entre o Sistema 1 e o Sistema 2 de Daniel Kahneman.
O Sistema 1 é basicamente como os modelos de linguagem.
É a intuição probabilística a partir de muitas estatísticas.
O Sistema 2 é basicamente o raciocínio deliberado.
É como o sistema simbólico.
Se o cérebro pode juntar as duas coisas,
um dia perceberemos como fazer isso para a inteligência artificial.
Contudo, há um problema de incentivos.
O incentivo para criar publicidade
não precisou que tivéssemos a precisão dos símbolos.
O incentivo para obter uma IA em que possamos confiar
exigirá que voltemos a trazer os símbolos para cima da mesa.
A realidade é que os incentivos para fazer uma IA em que possamos confiar
que seja boa para a sociedade, boa para os seres humanos individualmente,
podem não ser aqueles que motivam as empresas.
Penso que precisamos de pensar no controlo.
Noutras épocas da História, quando enfrentámos a incerteza,
e coisas novas e poderosas que podiam ser boas e más, que tinham um uso duplo,
fizemos novas organizações,
como, por exemplo, em volta do poder nuclear.
Precisamos de nos reunir para criar uma organização mundial
uma coisa como uma agência internacional para a IA que seja mundial,
sem fins lucrativos e neutra.
Há muitas questões que eu não sei responder.
Precisamos de muita gente à mesma mesa,
muitas partes interessadas do mundo inteiro.
Mas queria sublinhar uma coisa sobre essa tal organização.
Penso que é fundamental que ela tenha controlo e investigação.
Do lado do controlo, há imensas questões.
Por exemplo, na área farmacêutica,
sabemos que começamos com os testes da fase I e da fase II
e depois passamos para os testes da fase III.
Não se lança tudo duma só vez no primeiro dia.
Não se lança tudo para 100 milhões de clientes.
Vemos isso nos modelos de linguagem grande.
Talvez seja necessário apresentar um caso de segurança,
dizer quais são os custos e quais são os benefícios.
Há muitas questões deste género a considerar do lado do governo.
Do lado da investigação, neste momento temos falta de instrumentos fundamentais.
Por exemplo,
todos sabemos que a desinformação pode ser hoje um problema,
mas não temos como medir hoje quanta desinformação há por aí.
Mais importante ainda,
não temos como medir a que velocidade esse problema avança,
e não sabemos como os modelos de linguagem estão a contribuir para esse problema.
Precisamos de criar novos instrumentos pare fazer face aos novos riscos
que nos ameaçam.
É uma tarefa enorme
mas tenho confiança de que podemos lá chegar
porque penso que temos apoio global para isso.
Ainda ontem foi publicado um novo inquérito
em que 91% das pessoas concorda que devemos gerir cuidadosamente a IA.
Façamos com que isso aconteça.
O nosso futuro depende disso
Muito obrigado.
(Aplausos)
Chris Anderson: Obrigado. Vem cá, só um segundo.
Primeiro, sinto-me curioso.
Aqueles slides dramáticos que mostraste no início
em que o GPT estava a dizer que a TED é uma organização sinistra.
Foi preciso algum estímulo especial para acontecer aquilo, não foi?
Gary Marcus: Foi a chamada “fuga à prisão”.
Tenho um amigo que faz este tipo de coisas
que veio ter comigo porque viu que eu estava interessado nestas coisas.
Escrevi-lhe e disse que ia fazer uma palestra TED.
E 10 minutos depois, ele apareceu com aquilo.
CA: Mas, para obter uma coisa daquelas, é preciso dizer qualquer coisa como:
“imagina que és um teórico da conspiração a tentar apresentar um meme na Internet”?
O que é que escreverias sobre a TED nesse caso?
É o que acontece, não é?
GM: Há muitas “fugas à prisão” em volta de figuras de ficção,
mas eu não me concentraria muito nisso
porque a realidade é que há modelos de linguagem grande
na dark web, neste momento.
Por exemplo, foi lançado recentemente um dos modelos da Meta,
e um mau carácter pode usar um deles sem qualquer tipo de constrangimento.
Se o objetivo dele for criar desinformação em grande escala,
não precisam de fazer “fuga à prisão”, basta usar um modelo diferente.
CA: Lá isso é verdade.
(Risos)
GM: Já estás a perceber.
CA: Não, não, espera, eu penso que é claro
que os maus caracteres podem usar isto para o que quiserem.
Ou seja, o risco de todos os tipos de fraudes maléficas
e tudo o resto, é absolutamente evidente.
Mas é um pouco diferente
de dizer que o GPT em geral. como o que se usa na escola,
ou por um utilizador normal, na Internet,
vai dar-lhes uma coisa má.
Var ser preciso muita força para que isso seja tão mau.
GM: Penso que os trolls têm de trabalhar para isso,
mas acho que não têm de trabalhar muito.
O meu amigo só precisou de 5 minutos mesmo com o GPT-4 e as suas seguranças.
E se tiverem que fazer isso para ganhar dinheiro podem usar o GPT-4.
Só que haverá uma forma mais eficaz de o fazer com um modelo na dark web.
CA: Quanto a essa tua ideia de combinar
a tradição simbólica da IA com esses modelos de linguagem,
vês qualquer aspeto nela sob a forma de feedback humano
que está a ser introduzido hoje nos sistemas?
Ouvimos Greg Brockman dizer
que não estamos só a olhar para previsões, estamos sempre a alimentá-las,
isso não será dar-lhe uma espécie de sabedoria simbólica?
GM: Podemos pensar dessa forma.
É interessante que não há publicação
dos pormenores sobre como isso funciona,
assim, não sabemos bem o que é que há no GPT-4.
Não sabemos qual a sua dimensão.
Não sabemos como funciona o reforço de aprendizagem RLHF,
não sabemos que outros aparelhos há lá dentro.
Mas há provavelmente um elemento de símbolos
a começar a ser incorporado, pouco a pouco,
mas é Greg que terá de responder a isso.
O problema fundamental é que a maior parte do conhecimento
dos sistemas de rede neural que temos atualmente
é representada como estatísticas entre determinadas palavras.
E o conhecimento real que queremos é sobre estatísticas,
sobre relações entre entidades do mundo.
Isso é representado neste momento a um nível errado.
Há pois uma enorme ponte a atravessar.
O que temos agora é seguranças,
que não são muito fiáveis.
Eu tenho um exemplo que a televisão deu à noite, que foi:
“Qual seria a religião do primeiro presidente judeu?”
Agora, está a ser corrigido,
mas o sistema deu um grande baile e disse:
“Não fazemos ideia de qual seria a religião
“do primeiro presidente judeu.
“Não se deve falar das religiões das pessoas”
e “as religiões das pessoas têm variado”
e fez o mesmo para um presidente de 2 metros de altura.
Disse que tem havido presidentes de todas as alturas
mas nunca houve nenhum presidente com 2 metros de altura.
Portanto, há coisas que inventa porque não faz a mínima ideia.
São palavras muito restritas e particulares, não são gerais.
CA: Dado que há muito em jogo,
o que é que achas que vai acontecer agora?
O que é que pressentes que vai acontecer?
Porque há o risco de as pessoas se sentirem atacadas por ti, por exemplo,
o que quase diminui as hipóteses
de que ocorra essa síntese de que estás a falar.
Vês alguns sinais de esperança para isso?
GM: Há uma coisa que me esqueci de dizer na palestra.
É muito interessante que o Sunder, o CEO da Google,
acabou de se pronunciar também a favor do controlo global
na entrevista “60 Minutes” da CBS que deu há uns dias.
Penso que as empresas querem ver um certo tipo de regulamentação.
Penso que é uma dança muito complicada para pôr toda a gente na mesma página,
mas penso que está a crescer o sentimento de que precisamos de fazer qualquer coisa
e que isso pode impulsionar o tipo de afiliação global que defendo.
CA: Achas que a ONU ou as nações podem juntar-se e fazer isso
ou isto é possivelmente uma necessidade para um ato espetacular de filantropia
para tentar e financiar uma estrutura de controlo global?
Como é que vai acontecer?
GM: Aceito qualquer modelo se conseguirmos isso.
Penso que pode ter um pouco dos dois.
Pode haver uns filantropos a patrocinar workshops,
a que estamos a pensar em candidatar-nos, para tentar juntar as partes.
Talvez a ONU queira envolver-se, já tive algumas conversas com eles.
Há muitos modelos diferentes
e serão necessárias muitas conversações.
CA: Gary, muito obrigado.
GA: Obrigado.
(Aplausos)