Comecei a trabalhar como programadora informática
no meu primeiro ano de faculdade
— basicamente uma adolescente.
Pouco depois de começar a trabalhar,
a programar software numa empresa.
um gestor que trabalhava na empresa
veio ter comigo e segredou-me:
"Ele consegue saber se eu estou a mentir?"
Não havia mais ninguém na sala.
“Quem poderá saber que você está a mentir?
“Porque é que estamos a segredar?”
O gestor apontou para o computador na sala.
"Ele consegue saber se eu estou a mentir?"
Aquele gestor tinha um caso romântico com a rececionista.
(Risos)
Eu ainda era uma adolescente.
Por isso, sussurrei-gritei:
"Sim, o computador sabe que você está a mentir."
(Risos)
Bem, eu ri-me, mas, na verdade, hoje riem-se de mim.
Atualmente, há sistemas informáticos
que conseguem detetar estados emocionais e mesmo a mentira
processando apenas os rostos humanos.
Os publicitários e até os governos estão muito interessados nesta tecnologia.
Tornei-me programadora informática
porque era um daqueles miúdos loucos por matemática e ciências.
Mas, ao longo do caminho descobri as armas nucleares
e fiquei muito preocupada com a ética da ciência.
Fiquei perturbada.
No entanto, devido a circunstâncias familiares,
também precisava de começar a trabalhar o mais cedo possível.
Então pensei: "Bem, vou escolher uma área técnica
“onde consiga facilmente um emprego
“e onde não tenha de lidar com essas questões incómodas da ética”.
Escolhi a informática.
(Risos)
Bem, ha, ha, ha! Riam-se todos de mim.
Hoje, os cientistas de informática estão a construir plataformas
que controlam o que mil milhões de pessoas veem todos os dias.
Estão a desenvolver carros que podem decidir quem vão atropelar.
Estão inclusive a construir máquinas, armas,
que poderão matar seres humanos, em guerras.
Há ética por todo o lado.
A inteligência artificial já chegou.
Estamos a usar a informática para tomar todo o tipo de decisões,
mas também novos tipos de decisões.
Estamos a fazer perguntas que não têm uma resposta certa,
que são subjetivas,
estão em aberto e assentam em valores.
Fazemos perguntas como:
"Quem é que a empresa deve contratar?"
“Que notícias de que amigo nos devem mostrar?”
"Qual o prisioneiro que reincidirá mais facilmente?""
"Que notícia ou filme deve ser recomendado?"
Sim, já utilizamos os computadores há algum tempo,
mas isto é diferente.
Esta é uma mudança histórica,
porque não podemos apoiar-nos na informática
para decisões tão subjetivas,
da mesma forma que nos apoiamos na informática
para pôr aviões no ar, para construir pontes,
para voar até à Lua.
Os aviões são mais seguros? Será que a ponte vai balançar e cair?
Nestes casos, chegámos a acordo sobre referências bastante claras,
tendo as leis da natureza para nos guiar.
Não temos esses apoios e referências
para as decisões sobre os complexos assuntos humanos.
Para complicar ainda mais, o software está cada vez mais poderoso,
mas também está a ficar menos transparente e mais complexo.
Recentemente, na última década,
os algoritmos complexos alcançaram grandes feitos.
Conseguem reconhecer rostos humanos.
Podem decifrar a caligrafia.
Detetam fraudes de cartões de crédito e bloqueiam spam.
Conseguem traduzir idiomas.
Conseguem detetar tumores em imagens médicas.
Vencem os seres humanos no xadrez e no Go.
Grande parte deste progresso obteve-se com um método
chamado “aprendizagem automática.”
A aprendizagem automática é diferente da programação tradicional,
na qual se dá ao computador instruções detalhadas, meticulosas e exatas.
Com este novo método, disponibilizam-se grandes quantidades de dados ao sistema,
— incluindo dados não estruturados,
como os que geramos na nossa vida digital.
O sistema aprende analisando esses dados.
Para além disso,
estes sistemas não funcionam sob uma lógica de resposta única.
Não produzem uma resposta única; é mais probabilista:
"Isto, provavelmente, está mais próximo do que procura."
A vantagem é que este método é muito poderoso.
O chefe de sistemas da IA do Google, chamou-lhe:
"A eficácia irracional dos dados".
A desvantagem é que não entendemos concretamente
o que o sistema aprendeu.
Na verdade, é essa a sua força.
É diferente de dar instruções ao computador,
é sobretudo como treinar um cachorrinho-máquina
que não entendemos nem controlamos.
Portanto, este é o problema.
É problemático quando a IA compreende mal as coisas.
É também um problema quando as compreende bem,
porque nem sabemos o que é o quê quando se trata de um problema subjetivo.
Nós não sabemos o que a máquina está a pensar.
Assim, imaginem um algoritmo de contratação de pessoal
— um sistema usado para contratar pessoas, utilizando a aprendizagem automática.
Um sistema desses teria de ser treinado com dados dos empregados anteriores
e instruído para encontrar e contratar pessoas
semelhantes aos melhores profissionais da empresa.
Parece bem.
Uma vez, fui a uma conferência
que juntou gestores de recursos humanos e executivos,
pessoas de alto nível, que usam esses sistemas para contratação.
Estavam super entusiasmados,
Achavam que isto tornaria a contratação mais objetiva, menos tendenciosa,
e daria mais hipóteses às mulheres e minorias,
ao contrário dos gestores tendenciosos de Relações Humanas .
Notem, a contratação humana é tendenciosa.
Eu bem sei.
Num dos meus primeiros empregos como programadora,
a minha chefe direta, às vezes vinha ter comigo,
muito cedo de manhã ou muito ao final da tarde,
e dizia: "Zeynep, vamos almoçar!"
Eu ficava intrigada com aquele horário estranho.
São 16 horas. Almoço?
Como estava sem dinheiro — almoço grátis — aceitava sempre.
Mais tarde percebi porquê:
Os meus chefes diretos não tinham informado os superiores
que o programador contratado para um trabalho de responsabilidade
era uma miúda adolescente
que usava jeans e ténis para trabalhar.
Eu fazia um bom trabalho, mas tinha um aspeto não convencional
e tinha a idade e sexo errados.
Logo, contratar sem olhar ao sexo e à etnia
claro que me soa bem.
Mas com estes sistemas, é mais complicado.
Sabem porquê?
Atualmente, os sistemas informáticos
conseguem inferir todo o tipo de coisas sobre uma pessoa
a partir das suas migalhas digitais,
mesmo que a pessoa não tenha divulgado essas coisas.
Conseguem inferir a sua orientação sexual,
os seus traços de personalidade,
as inclinações políticas.
Conseguem prever coisas com elevados níveis de precisão.
Notem... coisas que nem sequer divulgámos conscientemente.
Isto é dedução.
Tenho uma amiga que desenvolveu esses sistemas informáticos,
para prever a probabilidade de depressão clínica ou pós-parto
a partir de dados de redes sociais.
Os resultados são impressionantes.
O sistema consegue prever a probabilidade de depressão
meses antes do início de quaisquer sintomas
— meses antes!
Não há sintomas. É só previsão.
Ela espera que isso seja usado para intervenção precoce. Ótimo!
Mas agora coloquem isto no contexto da contratação.
Na conferência de gestores de recursos humanos,
aproximei-me de uma gestora de alto nível de uma grande empresa e disse-lhe:
"O que acha se, sem o seu conhecimento,
"o seu sistema estiver a excluir pessoas com alto risco de futura depressão?
"Não estão deprimidas agora, mas talvez no futuro, seja mais provável.
"E se está a excluir as mulheres com maior probabilidade de engravidar
"dentro de um ou dois anos mas que não estão grávidas agora?
"E se está a contratar pessoas agressivas porque essa é a cultura da empresa?
"Não nos apercebemos disso olhando par a repartição por sexos.
Aí até pode estar equilibrado.
Como isto é aprendizagem de máquina, e não codificação tradicional,
não há lá nenhuma variável intitulada "maior risco de depressão",
"maior risco de gravidez",
"escala de agressividade".
Não só não se sabe o que é que o sistema está a selecionar,
como não se sabe por onde começar a procurar.
É uma caixa preta.
Tem poder preditivo, mas não conseguimos entendê-la.
"Que garantia você tem", perguntei,
"de que a sua caixa negra não está a fazer algo sombrio?"
Ela olhou para mim como se tivesse pisado 10 cachorrinhos.
(Risos)
Olhou para mim e disse:
"Não quero ouvir nem mais uma palavra sobre isso."
Virou-me as costas e foi-se embora.
Ela não foi indelicada. Foi claramente:
"O que eu não sei, não é problema meu. Desapareça." Olhar de morte.
(Risos)
Notem que estes sistemas podem ser menos tendenciosos
do que os gestores humanos, nalguns aspetos.
E isso pode fazer sentido economicamente.
Mas também pode levar
ao fecho constante mas furtivo do mercado de trabalho
para as pessoas com maior risco de depressão.
Será este o tipo de sociedade que queremos construir,
sem sequer saber que o fizemos,
porque demos às máquinas a tomada de decisões
que não compreendemos totalmente?
Outro problema é o seguinte:
estes sistemas são treinados frequentemente
com dados gerados pelas nossas ações,
impressões humanas.
Assim, poderão estar a refletir os nossos preconceitos.
poderão estar a aprender os nossos preconceitos,
a amplificá-los e a mostrá-los de novo,
enquanto nós pensamos:
"Estamos a ser objetivos, a informática é neutra".
Investigadores verificaram que, no Google,
os anúncios para empregos com salários elevados
aparecem mais para homens do que para mulheres.
E se procurarmos nomes de afro-americano
encontramos mais resultados de anúncios sugerindo antecedentes criminais,
mesmo quando não há nenhum.
Estes preconceitos escondidos e algoritmos de caixa-negra
que os investigadores por vezes descobrem, mas que por vezes nós não descobrimos,
podem ter consequências capazes de mudar uma vida.
No Wisconsin, um réu foi condenado a seis anos de prisão
por fugir da polícia.
Podem não saber,
mas os algoritmos são utilizados
para a liberdade condicional e as condenações.
Este réu queria saber como era calculada a pontuação.
É uma caixa preta comercial.
A empresa recusou-se a ver o seu algoritmo questionado em tribunal aberto.
Mas a ProPublica, uma agência de investigação sem fins lucrativos,
auditou esse algoritmo com os dados públicos que encontrou,
e descobriu que os resultados eram tendenciosos
e o poder de previsão era pouco melhor que o acaso.
E que estava a sinalizar erradamente réus negros como futuros criminosos
duas vezes mais do que réus brancos.
Considerem o seguinte caso:
Esta mulher estava atrasada para ir buscar a afilhada
a uma escola no condado de Broward, Flórida
e corria pela rua abaixo com uma amiga.
Avistaram uma bicicleta e uma scooter, não amarradas, numa varanda
e, parvoíce... levaram-nas.
Quando estavam a acelerar, apareceu uma mulher que disse:
"Ei! Essa bicicleta é do meu filho!"
Largaram-nas e seguiram caminho, mas acabaram por ser presas.
Foi errado, foi uma parvoíce, mas ela só tinha 18 anos.
Tinha alguns delitos juvenis.
Entretanto, aquele homem
já tinha sido preso por furto no Home Depot
— um roubo de 85 dólares, um crime menor.
Mas, para além disso, já tinha duas sentenças por assalto à mão armada.
Mas o algoritmo marcou-a a ela como de alto risco, e não a ele.
Dois anos depois, a ProPublica verificou que ela não tinha reincidido,
mas tinha dificuldade em conseguir um emprego, devido ao cadastro.
Ele, por outro lado, reincidiu
e agora está a cumprir pena de oito anos por um crime cometido mais tarde.
Necessitamos, claramente, de auditar as nossas caixas-negras
e não deixá-las ter este poder sem controlo.
(Aplausos)
As auditorias são ótimas e importantes, mas não solucionam todos os problemas.
Considerem o poderoso algoritmo de notícias do Facebook,
aquele que classifica e decide tudo o que vos mostram
de todos os amigos e das páginas que vocês seguem.
Deverão mostrar-vos outra foto de um bebé?
(Risos)
Uma nota mal-humorado de um conhecido?
Uma notícia importante, mas incomodativa?
Não há uma resposta certa.
O Facebook otimiza para manter-vos ligado ao site:
likes, partilhas, comentários.
Em agosto de 2014,
estalaram manifestações em Ferguson, no Missouri,
após a morte de um jovem afro-americano infligida por um polícia branco,
em circunstâncias pouco claras.
As notícias dos protestos apareceram de todos o lados
na minha conta de Twitter sem filtro de algoritmos,
mas em parte alguma no meu Facebook.
Foram os meus amigos no Facebook?
Desativei o algoritmo do Facebook
— o que é difícil, pois o Facebook insiste em voltar a incluir-nos
sob o controlo do algoritmo —
e vi que os meus amigos falavam disso.
O algoritmo é que não me mostrava essa informação.
Fiz pesquisas e verifiquei que era um problema generalizado.
A história de Ferguson não agradava ao algoritmo.
Não era "simpática".
Quem ia clicar em "Gosto"?"
Nem é fácil de comentar.
Sem likes e sem comentários,
o algoritmo, provavelmente, mostrá-la-ia a menos pessoas,
e assim nós não a conseguimos ver.
Em vez disso, nessa semana,
o algoritmo do Facebook destacava isto,
o Desafio do Balde de Água Gelada.
Uma causa digna: despejar água gelada; doar para a caridade. Tudo bem.
Mas, para o algoritmo, era super amigável.
A máquina tomou essa decisão por nós.
Uma conversa muito importante mas também difícil
podia ter sido abafada,
se o Facebook fosse o único canal.
Finalmente, estes sistemas também podem cometer erros
diferentes dos erros dos sistemas humanos.
Lembram-se do Watson, a máquina de IA da IBM
que eliminou os concorrentes humanos no Jeopardy?
Foi um grande jogador.
Mas, na final do Jeopardy, fizeram esta pergunta ao Watson:
“Qual é a cidade cujo maior aeroporto tem o nome de um herói da II Guerra Mundial,
“e o segundo maior aeroporto tem o nome de uma batalha da II Guerra Mundial?”
Chicago.
Os dois seres humanos acertaram.
Watson, por outro lado, respondeu: Toronto!
— para uma pergunta sobre cidades dos EUA!
O impressionante sistema também cometeu um erro
que um ser humano nunca iria fazer, que uma criança do 1.º ciclo não faria.
A inteligência artificial pode falhar
de formas que não se encaixam nos padrões de erro dos seres humanos.
de formas inesperadas e imprevistas.
Seria péssimo não conseguir um emprego para o qual estamos qualificados,
mas seria três vezes pior se fosse por causa de um erro
de processamento de alguma sub-rotina.
(Risos)
Em maio de 2010,
um acidente relâmpago em Wall Street provocado por uma auto alimentação
no algoritmo de "vender", em Wall Street,
fez perder um bilião de dólares em 36 minutos.
Eu nem quero pensar o que significa "erro"
no contexto de armas mortais autónomas.
Sim. Os seres humanos sempre alimentaram preconceitos.
Quem toma decisões e controla nos tribunais,
nas notícias, na guerra ... comete erros.
É esse exatamente o meu ponto.
Nós não podemos fugir destas perguntas difíceis.
Não podemos atribuir as nossas responsabilidades às máquinas.
(Aplausos)
A inteligência artificial não nos dá um cartão “Põe a ética de lado”.
O cientista de dados Fred Benenson chama-lhe "lavagem de matemática".
Precisamos é do oposto.
Temos de cultivar algoritmos de suspeita, de análise e de investigação.
Precisamos de garantir que assumimos a responsabilidade dos algoritmos,
da auditoria e da transparência relevante.
Precisamos de aceitar que trazer a matemática e a informática
para os assuntos humanos, complicados e carregados de valores,
não nos dá objetividade.
Em vez disso, a complexidade dos assuntos humanos invade os algoritmos.
Sim, podemos e devemos usar a informática
para nos ajudar a tomar melhores decisões.
Mas temos de assumir a responsabilidade moral do julgamento.
e usar os algoritmos nesse âmbito,
não como um meio para abdicar e subcontratar a nossa responsabilidade
de ser humano para ser humano.
A inteligência artificial já chegou.
O que significa que mais que nunca temos de nos agarrar afincadamente
aos valores e à ética humana.
Obrigada.
(Aplausos)