Ho iniziato il mio primo lavoro come programmatrice di computer
nel mio primo anno di college -
sostanzialmete un'adolescente.
Subito dopo ho cominciato a lavorare, scrivendo software in una azienda,
un manager che lavorava nell'azienda mi venne a trovare dove stavo,
e mi susssurrò,
"Può lui dirmi se sto mentendo?"
Non c'era nessun altro nella stanza.
"Chi può dire se stai mentendo? E perché sussurriamo?"
Il manager indicò il computer nella stanza.
"Può lui dirmi se sto mentendo?"
Ebbene, quel manager aveva una relazione con la segretaria alla reception.
(Risate)
Ed ero ancora una adolescente.
Così gli sussurrai-urlai,
"Si, il computer può dire se stai mentendo."
(Risate)
Bene, io risi, ma in effetti, la risata era nei mei confronti.
Oggi, vi sono sistemi di calcolo
che possono scoprire gli stati emotivi e pure la menzogna
tramite la elaborazione dei volti umani.
I pubblicitari ed anche i governi sono molto interessati.
Sono diventata programmatrice di computer
perchè ero uno di quei giovani pazzi per matematica e scienze
Ma lungo il mio percorso ho imparato a conoscere le armi nucleari,
e mi sono proprio preoccupata dell'etica della scienza.
Ero preoccupata.
Tuttavia, a causa della mia situazione familiare,
dovevo iniziare a lavorare al più presto.
Così mi sono detta, hey, scegliamo un settore tecnico
dove posso trovare facilmente un lavoro
e dove non devo aver a che fare con qualche fastidiosa questione etica.
Così ho scelto i computer.
(Risate)
Bene, ah, ah! Tutti ridono di me.
Ora, gli scienziati del computer costruicono piattaforme
che controllano ciò che un miliardo di persone vedono ogni giorno.
Stanno sviluppando auto che potrebbero decidere chi investire.
Stanno anche costruendo macchine, armi,
che possono uccidere persone in guerra.
C'è sempre l'etica alla fine.
L'intelligenza delle macchine è qui.
Ora utilizziamo il computer per prendere ogni tipo di decisioni,
ma anche nuovi tipi di decisioni.
Stiamo ponendo al computer domande che non hanno una sola risposta giusta,
che sono soggettive
e sono aperte e cariche di valore.
Domandiamo cose come,
"Chi dovrebbe essere assunto?"
"Quale update e di quale amico dovrebbe essere mostrato?"
"Quale pregiudicato sarà più probabilmente recidivo?"
"Quale notizia o film dovrebbe essere consigliato alla gente?"
Certo, stiamo usando il computer da un po',
ma questo è diverso.
Questa è un svolta storica,
perchè non possiamo poggiarci sul computer per queste decisioni soggettive
allo stesso modo in cui si usa il computer per far volare gli aerei, costruire ponti,
andare sulla luna.
Sono più sicuri gli aerei? Vacillano e cadono i ponti?
Qui abbiamo chiari livelli di riferimento, su cui concordiamo,
ed abbiamo le leggi naturali per guidarci.
Non abbiamo tali riferimenti per decidere
nelle complicate faccende umane.
Per rendere le cose più complicate, il software sta diventando più potente,
ma anche meno trasparente e più complesso.
Recentemente, nell'ultima decennio,
algoritmi complessi hanno fatto notevoli passi avanti.
Possono riconoscere le facce umane.
Possono decifrare la scrittura manuale.
possono individuare le frodi sulle carte di credito e bloccare lo spam
e possono tradurre le lingue.
Possono individuare i tumori nelle diagnostica per immagini.
Possono battere gli umani a scacchi e nel GO
Molti di questi progressi derivano dal metodo di "apprendimento automatico".
L'apprendimento automatico è diverso dalla tradizionale programmazione,
dove si danno al computer istruzioni dettagliate, precise ed accurate.
Sembra di più come se forniste al sistema molti dati,
Inclusi dati non strutturati,
del tipo che generiamo nella nostre vite digitali.
E il sistema impara maneggiando quei dati.
Ed anche, crucialmente,
quei sistemi non lavorano con la logica di una sola risposta.
Non forniscono una semplice risposta; è piuttosto probabilistica:
"Questo è probabilmente quello che state cercando."
Ora, la parte positiva è: questo metodo è veramente potente.
Il capo sistema AI di Google lo ha chiamato
"la irragionevole efficacia dei dati."
La parte negativa è,
non capiamo veramente cosa il sistema ha imparato.
Infatti, questa è la sua forza.
Ciò è meno simile a dare istruzioni ad un computer;
è più simile all'istruire un cucciolo-macchina
che noi non capiamo o controlliamo veramente
Questo è il nostro problema.
Il problema è quando questi sistemi di intelligenza artificiale lavorano male.
Vi è anche il problema di quando lavorano bene,
perchè non sappiamo chi è chi quando il problema è soggettivo.
Non sappiamo come il computer ragioni.
Così, considerate un algoritmo per le assunzioni--
un sistema per assumere la gente, usando l'apprendimento automatico.
Un tale sistema sarebbe stato formato sui dati dei precedenti assunti
e istruito per trovare ed assumere
le persone simili a quelli più performanti in azienda.
Sembra giusto. Una volta ho partecipato ad una conferenza
che coinvolgeva i responsabili delle Risorse Umane e i manager aziendali,
persone ad alto livello, che usavano questo sistema per assumere.
Erano super entusiasti.
Pensavano che ciò avrebbe portato ad assunzioni più oggettive, meno distorte,
e dato alle donne e alle minoranze una migliore opportunità
rispetto a manager umani influenzabili.
E guarda - le assunzioni fatte dagli uomini sono distorte.
Lo so.
Voglio dire, in uno dei miei primi lavori, come programmatrice,
la manager da cui dipendevo qualche volta scendeva dove stavo
molto presto alla mattina o molto tardi nel pomeriggio,
e mi diceva, "Zeynep, andiamo a pranzo!"
Ero perplessa per la strana tempistica.
Sono le 4 del pomeriggio. Pranzo?
Ero al verde, ed è un pranzo gratis. Quindi andavo sempre.
Più tardi capii cosa stava accadendo.
La manager da cui dipendevo non aveva confessato ai livelli superiori
che il programmatore da lei assunto per un importante lavoro era adolescente
che indossava jeans e sneaker al lavoro.
Lavoravo bene, solo sembravo sbagliata,
ed era l'età e genere sbagliato.
Così asssumere senza considerare genere e razza
certamante mi sembra giusto.
Ma con questi sistemi, è più complicato, ed ecco perchè:
Ad oggi, i sistemi di calcolo possono desumere qualsiasi cosa su di voi
dalle vostre briciole digitali,
pur se non avete reso pubbliche quelle cose.
Possono desumere il vostro orientamento sessuale,
caratteristiche personali,
orientamento politico.
Hanno potenza predittiva con alto livello di accuratezza.
Ricordate -- per cose che non avete mai dichiarato.
Questa è l'inferenza.
Ho un'amica che ha sviluppato un sistema di elaborazione
per predire la probabilità della depressione postpartum
dai dati delle reti sociali.
Risultati impressionanti!
Il suo sistema può predire la probabilità della depressione
mesi prima dell'insorgere di un qualsiasi sintomo --
mesi prima.
Nessun sintomo, ma c'è predizione.
Lei spera che sarà usato per anticipare un intervento. Ottimo!
Ma ora consideratelo in una assunzione.
Così a quella conferenza dei manager delle risorse umane,
ho avvicinato un manager di alto livello in una grande azienda,
e le ho detto, "Guarda, che succederebbe se, alla tua insaputa,
il vostro sistema elimina le persone con un'alta probabilità di depressione?
Non sono depresse ora, magari forse in futuro, più probabilmente.
Che succederebbe se eliminasse le donne più probabilmente incinte
nei prossimi uno o due anni ma che non lo sono ora?
E se assumeste persone aggressive perchè questa è la vostra cultura aziendale?"
Non potete parlarne guardando solo alle quote di genere.
Queste si possono bilanciare.
E dato che ciò è apprendimento automatico, non programmazione tradizionale,
non c'è alcuna variabile di codifica etichettata "alto rischio di depressione",
"maggior rischio di gravidanza,"
"gradazione di maschio aggressivo."
Non solo non sapete su cosa il vostro sistema basi la selezione,
ma neppure sapete dove cominciare a guardare.
E' una "scatola nera".
Ha una potenza predittiva ma non la capite.
"Quali garanzie," chiesi, "avete
per essere sicuri che la scatola nera non sta facendo qualcosa losco?"
Mi ha guardato come se avessi schiacciato la coda a 10 cuccioli.
(Risate)
Mi fissò e disse,
"Non voglio sentire altro su questo."
E si girò andandosene via.
Considerate - non era maleducata.
Era chiaro: quello che non so non è un mio problema. Va via, sguardo assassino.
(Risate)
Vedete, un tale sistema può anche essere meno influenzata
in molti modi rispetto ai manager umani.
E potrebbe avere senso economico.
Ma può anche portare
a una stabile, ma furtiva chiusura dal mercato del lavoro
di gente più a rischio di depressione.
Questo è il tipo di società che vogliamo costruire,
senza neppure sapere che lo abbiamo fatto,
poichè abbiamo lasciato la decisione a macchine che non comprendiamo del tutto?
Un altro problema è questo:
quei sistemi sono spesso addestrati con dati generati dalle nostre azioni,
di impronta umana.
Bene, possono proprio riflettere le nostre distorsioni o pregiudizi,
e questi sistemi si portano dietro i nostri pregiudizi
e li amplificano
e ce li rispecchiano,
mentre ci diciamo,
"Stiamo facendo solo elaborazioni oggettive e neutrali."
Ricerche effettuate su Google trovano,
che è meno probabile vengano mostrati alle donne avvisi per lavori ben pagati.
E cercando nomi di Afro-Americani
è più probabile trovare avvisi alludenti a storie criminali,
anche quando non ce ne sono.
Questi sono i pregiudizi nascosti e gli algoritmi a scatola nera
che i ricercatori talvolta scoprono ma che altre volte non conosciamo,
possono avere la conseguenza di alterare la vita.
In Wisconsin, un accusato è stato condannato a sei anni di prigione
per aver eluso la polizia.
Si può non saperlo,
ma gli algoritmi sono sempre più usati per prendere decisioni giudiziarie.
Egli voleva sapere: come è stato calcolato il punteggio?
Ma è una scatola nera sul mercato
L'azienda si è rifiutata di far verificare il suo algoritmo in una corte pubblica.
Ma ProPublica, associazione investigativa non-profit, ha verificato quell'algoritmo
con i dati pubblici disponibili,
trovando che i risultati erano influenzati
e la sua potenza predittiva era niente più di una possibilità,
e che era sbagliato etichettare accusati neri come futuri criminali
a livello doppio degli accusati bianchi.
Così considerate questo caso:
questa donna è in ritardo nel prelevare la sua figlioccia
da scuola nella Contea di Broward, Florida,
correndo per la strada con un suo amico.
Vedono una bici da ragazzo non bloccata ed uno scooter in una veranda
e stupidamente vi saltano su.
Come stavano scappando via, una donna uscì fuori e disse,
"Ehi, quella bicicletta è mia!"
Essi la lascarono, andarono via, ma furono arrestati.
Aveva sbagliato, era stata sciocca, ma era appena diventata diciottenne.
Fu condannata per un paio di crimini giovanili.
Nel frattempo, quell'uomo fu arrestato per furto di merce al Home Depot --
merce per 85 dollari di valore, un simile piccolo crimine.
Ma lui aveva due precedenti condanne per rapina a mano armata
Ma l'algoritmo aveva valutato lei ad alto rischio, non lui.
Due anni dopo, ProPublica trovò che lei non era stata recidiva.
Ma le fu duro trovare lavoro, visti i precedenti.
Lui, d'altra parte, fu recidivo
ed ora è in prigione per 8 anni a causa di un successivo crimine.
Chiaramente, ci bisogna verificare le scatole nere
per non dare loro questo incontrollato potere.
(Applausi)
Le verifiche sono importanti, ma da sole non risolvono tutti i problemi.
Prendete l'algoritmo di Facebook per caricare le news--
sapete, quello che riordina tutto e decide cosa mostrarvi
da tutti gli amici e le pagine seguite.
Dovrebbe mostrarvi un'altra foto di bimbo?
(Risate)
Una nota imbronciata da un conoscente?
Una importante ma scabrosa notizia?
Non c'è una risposta giusta.
Facebook ottimizza per attraervi al loro sito:
i like, condividi, commenti
Nell'agosto 2014,
proteste scoppiarono a Ferguson, Missouri, dopo l'uccisione di
un ragazzo Afro-Americano da parte di un poliziotto bianco,
in circostanze oscure.
La notizia delle proteste era presente
sul mio caricatore Twitter non filtrato da algoritmi,
ma nulla sul mio Facebook.
Era a causa dei miei amici su Facebook?
Ho disabilitato l'algoritmo di Facebook,
che non è facile, poichè Facebook vuole mantenervi
sotto il controllo dell'algoritmo,
e vidi che i miei amici parlavano di questo.
Era proprio l'algoritmo che non me lo mostrava.
Ho approfondito ed ho trovato che è un problema diffuso.
La storia di Ferguson non è facile per l'algoritmo.
Non è likable.
Chi sta cliccando su "like?"
Non è neppure facile da commentarsi.
Senza like e commenti,
l'algoritmo tende a mostrare la notizia ad ancora meno persone,
così non riusciamo a vederla.
Invece, questa settimana,
l'algoritmo di Facebook ha evidenziato
questo: il ALS Ice Bucket Challenge.
Causa benefica; svuota acqua ghiacciata, dona alla beneficenza, bene.
Ottimo per agevolare l'algoritmo.
Una decisione automatica è stata presa per noi
Una conversazione molto importante ma scabrosa
può essere moderata,
essendo Facebook l'unica via trasmissiva.
Ora, infine, quei sistemi possono sbagliare
in modi che non somigliano a sistemi umani.
Vi ricordate Watson, la macchina intelligente di IBM
che ha spazzato via i contendenti umani a Jeopardy?
Era un grande giocatore.
Ma poi, alla finale di Jeopardy, fu posta questa domanda a Watson:
"Il suo più grande aeroporto è intitolato a un eroe della II Guerra Mondiale,
il suo secondo più grande a una sua battaglia."
(Musica della finale di Jeopardy)
Chicago.
I due umani risposero bene.
Watson, da altra parte, rispose "Toronto" --
per una città nella categoria USA!
L'impressionante sistema aveva sbagliato
come un umano non avrebbbe mai fatto, neppure un alunno delle elementari.
L'intelligenza automatica può sbagliare
in modi non paragonabili con l'approccio dell'errore umano,
in modi che non ci aspetteremmo e per i quali siamo preparati.
Sarebbe pessimo non ottenere un lavoro per il quale si è qualificati,
ma sarebbe tre volte peggio se fosse causato da un errore software
in qualche sua subroutine.
(Risate)
Nel maggio 2010,
una crisi improvvisa a Wall Street, alimentata da un erroneo ciclo di calcolo
nell'algoritmo di "vendi" di Wall Street
ha spazzato via un valore di un trilione di dollari in 36 minuti.
Non voglio pensare cosa significhi "errore"
nel contesto di armi letali autonome.
Si certo, gli umani sono sempre parziali.
I decisori e controllori,
nelle corti, nei notiziari, in guerra ...
commettono errori; ma questo è proprio il mio punto.
non possiamo sfuggire a queste difficili domande.
Non possiamo delegare le nostre responsabilità alle macchine.
(Applausi)
L'intelligenza artificiale non ci dà un permesso di "uscire dall'etica" gratis.
Lo scienziato sui dati Fred Benenson lo chiama "pulizia matematica".
Necessitiamo del contrario.
Verso gli algoritmi occorre coltivare la diffidenza, verifica e indagine.
Occorre essere sicuri che di sia una responsabilità sugli algoritmi,
metodi di verifica e una comprensibile trasparenza.
È necessario accettare che portare matematica ed elaborazione
in relazioni umane caotiche e di valore,
non aggiunge obiettività;
piuttosto, la complessità degli affari umani invade gli algoritmi.
Si, possiamo e dovremmo usare il calcolo
per aiutarci nel decidere meglio.
Ma dobbiamo mantenere la responsabilità morale del giudizio,
e usare algoritmi dentro quel contesto,
non come gli strumenti per abdicare e dare in outsource
le nostre responsibilità a qualcun altro come fra umani.
La intelligenza delle macchine è qui.
Significa che dobbiamo tenerci più forti
ai valori ed etica umani.
Grazie.
(Applausi)