Mi-am început primul job ca programator
în primul an de facultate,
practic, în adolescență.
Curând după ce am început să lucrez,
scriind programe la o companie,
un manager care lucra acolo a venit la mine
și mi-a șoptit:
„Știe dacă mint?”
Nu mai era nimeni în încăpere.
„Cine să știe dacă minți? Și de ce vorbim în șoaptă?”
Managerul a arătat spre calculatorul din cameră.
„Știe dacă mint?”
Acel manager avea o relație cu recepționista.
(Râsete)
Iar eu eram încă o adolescentă.
I-am strigat în șoaptă:
„Da, calculatorul știe dacă minți.”
(Râsete)
Am râs, dar de fapt m-am înșelat.
Azi, există sisteme de calcul
care deduc stările emoționale și știu dacă minți,
prin simpla procesare a chipurilor umane.
Companiile de publicitate și guvernele sunt foarte interesate.
Am devenit programator,
fiindcă eram unul din acei copii înnebuniți după matematică și știință.
Dar la un moment dat, am învățat despre armele nucleare
și m-am îngrijorat cu privire la etica științei.
Eram tulburată.
Totuși, din cauza situației familiale,
trebuia să încep să lucrez cât mai repede posibil.
M-am gândit să aleg un domeniu tehnic,
unde să mă pot angaja ușor
și să nu trebuiască să am de a face cu întrebări supărătoare de etică.
Așa că am ales informatica.
(Râsete)
Ei, ha, ha, ha! M-am înșelat.
Azi, informaticienii construiesc platforme
care controlează ce văd un miliard de oameni zilnic.
Dezvoltă mașini care pot decide pe cine să calce.
Construiesc chiar și mașinării, arme
care pot omorî oameni în război.
Totul se rezumă la etică.
Inteligența artificială e aici.
Folosim acum calculul pentru a lua tot felul de decizii,
dar și noi tipuri de decizii.
Punem întrebări calculatoarelor care nu au un singur răspuns corect,
care sunt subiective,
cu răspuns nelimitat și relativ.
Punem întrebări ca:
„Pe cine ar trebui să angajăm?”
„Ce noutate și de la ce prieten ar trebui să vezi?”
„Ce condamnat are mai multe șanse să recidiveze?”
„Ce știre sau film ar trebui să recomandăm oamenilor?”
Folosim calculatoare de ceva timp,
dar asta e diferit.
E o răsturnare de situație importantă,
deoarece nu putem să ne bazăm pe calcul pentru astfel de decizii subiective,
așa cum o facem pentru pilotarea avioanelor, construirea de poduri,
mersul pe lună.
Sunt avioanele mai sigure? S-a clătinat podul și a căzut?
Acolo am convenit asupra unor repere destul de clare
și am lăsat legile naturii să ne ghideze.
Nu avem astfel de baze și repere
pentru deciziile în problemele umane dificile.
Pentru a complica și mai mult lucrurile, programul e din ce în ce mai puternic,
dar mai puțin transparent și mult mai complex.
Recent, în ultimii zece ani,
algoritmii complecși au făcut mari progrese.
Pot recunoaște fețe umane.
Pot descifra scrisul de mână.
Pot detecta frauda cu cardul de credit,
pot bloca spamul
și pot traduce în alte limbi.
Pot detecta tumori în imagistica medicală.
Îi pot bate pe oameni la șah și Go.
Majoritatea acestui progres vine dintr-o metodă numită „învățare automată”.
Învățarea automată diferă de programarea tradițională,
unde poți da calculatorului indicații detaliate, exacte, minuțioase.
E ca atunci când iei sistemul și îl alimentezi cu multe date,
inclusiv date nestructurate,
ca cele pe care le generăm în viețile noastre digitale.
Iar sistemul învață prin parcurgerea acestor date.
De asemenea, e esențial
că aceste sisteme nu operează cu o logică bazată pe un singur răspuns.
Nu emit un răspuns simplu, se bazează mai mult pe probabilitate:
„Asta depășește probabil ce cauți tu.”
Avantajul e că această metodă chiar e puternică.
Directorul sistemelor AI Google i-a spus
„eficiența irațională a datelor”.
Dezavantajul este
că nu înțelegem ce a învățat sistemul.
De fapt, asta e puterea lui.
E mai puțin decât să dai instrucțiuni unui calculator;
e ca și când ai antrena o creatură-cățeluș
pe care nu o înțelegem și nu o controlăm.
Așa că asta e problema noastră.
E o problemă când acest sistem de inteligență artificială greșește.
E o problemă și când face lucrurile bine,
pentru că nici nu știm să deosebim atunci când e o problemă subiectivă.
Nu știm ce gândește chestia asta.
Gândiți-vă la un algoritm de angajare,
un sistem utilizat să angajeze oameni, folosind sisteme de învățare automată.
Un astfel de sistem ar fi fost antrenat cu datele foștilor angajați
și instruit să găsească și să angajeze
oameni ca cei existenți, cu rezultate înalte în companie.
Sună bine.
Am fost odată la o conferință
care aducea împreună manageri și directori de resurse umane,
oameni de nivel înalt,
care foloseau aceste sisteme la angajare.
Erau foarte entuziasmați.
Credeau că asta face angajarea mai obiectivă, mai puțin părtinitoare,
și oferă femeilor și minorităților o șansă mai bună
împotriva managerilor umani ostili.
Angajarea umană e părtinitoare.
Știu.
La unul dintre primele mele joburi ca programator,
șefa mea directă venea la mine uneori
foarte devreme dimineața sau foarte târziu după-amiaza
și-mi spunea: „Zeynep, hai să mâncăm!”
Mă nedumerea ora aleasă.
E 16:00. Prânz?
Nu aveam bani, masa era gratis, așa că mă duceam de fiecare dată.
Mai târziu, am realizat ce se întâmpla.
Șefii mei direcți nu le spuneau superiorilor lor
că programatorul pe care l-au angajat pentru un job serios era o adolescentă
care purta blugi și teniși la muncă.
Mereu făceam o treabă bună, doar că arătam neobișnuit
și aveam vârsta și genul greșit.
Așa că angajarea bazată pe necunoașterea genului și a rasei
sună bine.
Dar e mai complicat cu aceste sisteme și motivul e următorul:
În prezent, sistemele de calcul pot deduce tot felul de lucruri despre noi,
de la urmele digitale,
chiar dacă nu ați dezvăluit acele lucruri;
pot deduce orientarea sexuală,
trăsăturile de personalitate,
înclinațiile politice.
Au putere de predicție cu nivel ridicat de precizie.
Iar asta pentru lucruri pe care nici măcar nu le-ați dezvăluit.
Asta e deducție.
Am o prietenă care a dezvoltat astfel de sisteme de calcul
care să prezică probabilitatea depresiei clinice sau postnatale
din datele de pe rețelele de socializare.
Rezultatele sunt impresionante.
Sistemul ei poate prezice probabilitatea depresiei
cu luni înainte de apariția unui simptom,
cu luni înainte.
Fără simptome, există o predicție.
Ea speră că va fi folosit pentru intervențiile timpurii. Minunat!
Dar să luăm contextul angajării.
La această conferință cu manageri de la resurse umane,
m-am apropiat de un manager de nivel înalt dintr-o companie foarte mare
și i-am spus: „Ce-ar fi dacă, fără știrea ta,
sistemul tău elimină oameni cu o viitoare probabilitate de depresie?
Nu sunt depresivi acum, dar poate în viitor sunt șanse.
Ce-ar fi dacă elimină femei care e posibil să rămână însărcinate
anul viitor sau în doi ani, dar nu sunt însărcinate acum?
Dacă angajează oameni agresivi, pentru că așa e cultura locului de muncă?”
Nu-ți poți da seama de asta din defalcare de gen.
Trebuie să fie în echilibru.
Și din moment ce asta e învățare automată, nu programare tradițională,
nu e o variabilă etichetată „risc ridicat de depresie”,
„risc ridicat de sarcină”,
„persoană agresivă”.
Nu doar că nu știi cum face sistemul selecția,
nu știi nici de unde începe să caute.
E o cutie neagră.
Are putere de predicție, dar n-o înțelegi.
Ce măsuri de protecție ai, am întrebat,
ca să te asiguri că cutia ta neagră nu face ceva suspect?”
M-a privit ca și când aș fi călcat pe zece cozi de cățeluși.
(Râsete)
M-a privit și a spus:
„Nu vreau să mai aud un cuvânt despre așa ceva.”
S-a întors și a plecat.
Rețineți, n-a fost nepoliticoasă.
Era clar: ce nu știu nu-i problema mea, lasă-mă, privire dușmănoasă.
(Râsete)
Un astfel de sistem poate fi mai puțin ostil
decât managerii umani câteodată.
Și ar putea avea un sens din punct de vedere monetar.
Dar ar putea duce
și la o închidere constantă dar ascunsă de pe piața muncii,
a celor cu risc mai mare de depresie.
E ăsta genul de societate pe care vrem s-o construim,
fără să știm că am făcut asta,
că am îndreptat luarea deciziilor spre mașini pe care nu le înțelegem bine?
O altă problemă e asta:
aceste sisteme sunt deseori antrenate pe date generate de acțiunile noastre,
amprentele umane.
Ele ar putea doar să reflecte prejudecățile noastre
și aceste sisteme ne-ar putea prelua prejudecățile,
le-ar amplifica
și ni le-ar arăta înapoi,
în timp ce ne spunem:
„Facem doar calcule obiective și neutre.”
Cercetătorii au aflat că pe Google
posibilitatea de afișare a joburilor bine plătite e mai mică pentru femei.
Și căutând nume afro-americane
e mai posibil să apară anunțuri ce sugerează antecedente penale,
chiar dacă nu există niciunul.
Astfel de prejudecăți ascunse și algoritmi de tip cutie neagră
pe care cercetătorii le descoperă uneori, dar noi nu știm,
pot avea consecințe ce pot schimba viața.
În Wisconsin, un acuzat a primit șase ani de închisoare
pentru că a fugit de poliție.
Poate nu știți asta,
dar se folosesc tot mai mult algoritmi pentru eliberări condiționate și sentințe.
Voia să știe cum se calcula rezultatul.
Era o cutie neagră comercială.
Compania a refuzat ca algoritmul său să fie contestat în ședință publică.
Dar ProPublica, un ONG de investigație, a verificat anume acel algoritm
cu datele publice pe care le-au putut găsi
și au aflat că rezultatele lor erau ostile
și puterea sa de predicție era slabă, abia avea vreo șansă,
și eticheta greșit pe acuzații de culoare ca fiind viitori infractori
la o rată de două ori mai mare față de acuzații albi.
Gândiți-vă la cazul ăsta.
Această femeie a întârziat să o ia pe fata nașilor
de la o școală din Broward, Florida,
deoarece era la plimbare cu o prietenă.
Au văzut bicicleta unui copil și un scuter pe verandă
și s-au urcat pe ea.
În timp ce prindeau viteză, o femeie a ieșit și a spus:
„Hei! Aia-i bicicleta copilului meu!”
Au lăsat-o, au plecat, dar au fost arestate.
Greșise, făcuse ceva imprudent, dar avea 18 ani.
Avea două delicte juvenile.
Între timp, acest bărbat a fost arestat pentru furt în Home Depot,
lucruri în valoare de 85 de dolari, o infracțiune minoră.
Dar mai avea două condamnări anterioare pentru jaf armat.
Dar algoritmul a considerat-o pe femeie ca fiind un risc ridicat și nu pe el.
Doi ani mai târziu, ProPublica a aflat că ea nu recidivase.
Ei i-a fost greu să-și găsească un job cu acel cazier.
El, pe de altă parte, a recidivat
și acum ispășește o pedeapsă de opt ani de închisoare pentru o crimă ulterioară.
Evident, trebuie să examinăm cutiile negre
și să nu le lăsăm să aibă acest tip de putere necontrolată.
(Aplauze)
Auditul e minunat și important, dar nu ne rezolvă toate problemele.
Luați algoritmul puternic al fluxului de știri de pe Facebook,
cel care clasează totul și decide ce să vă arate
de la toți prietenii și paginile pe care le urmăriți.
Ar trebui să vezi o altă poză de bebeluș?
(Râsete)
Un articol trist de la un cunoscut?
O știre importantă dar complicată?
Nu există un răspuns corect.
Facebook se optimizează pentru implicarea pe site:
like-uri, distribuiri, comentarii.
În august 2014,
protestele au izbucnit în Ferguson, Missouri,
după uciderea unui adolescent afro-american de un polițist alb,
în condiții obscure.
Știrea despre proteste era peste tot,
în feedul meu Twitter, nefiltrat algoritmic,
dar nicăieri pe pagina mea de Facebook.
Au făcut asta prietenii mei de la Facebook?
Am dezactivat algoritmul Facebook,
ceea ce părea greu, deoarece Facebook tot vrea să te facă
să fii sub controlul algoritmului,
și am văzut că prietenii mei vorbeau despre asta.
Era doar algoritmul care nu-mi arăta.
Am cercetat și am aflat că e o problemă răspândită.
Povestea din Ferguson nu era prietenoasă cu algoritmii.
Nu era „apreciabilă”.
Cine o să dea „like”?
Nici măcar nu e ușor să lași un comentariu despre asta.
Fără like-uri și comentarii,
algoritmul lăsa probabil și mai puțini oameni să vadă,
așa că noi n-am văzut.
În schimb, în acea săptămână,
algoritmii Facebook au subliniat asta:
ALS Ice Bucket Challenge.
Cauză demnă: îți torni apă rece, donezi pentru caritate, perfect.
Dar era super prietenoasă cu algoritmii.
Mașinăria a decis asta pentru noi.
O conversație foarte importantă, dar dificilă,
ar fi putut fi eliminată
dacă Facebook ar fi fost singurul canal.
Aceste sisteme pot și greși
în feluri care nu seamănă cu sistemele umane.
Vă amintiți de Watson, sistemul IBM cu inteligență artificială,
care a șters pe jos cu concurenții umani la Jeopardy?
A fost un jucător grozav.
Dar atunci, în finala Jeopardy, lui Watson i s-a pus această întrebare:
„Cel mai mare aeroport al său e numit după un erou din al Doilea Război Mondial,
al doilea ca mărime din o luptă a acestui război.”
(Fredonează melodia finalei Jeopardy)
Chicago.
Cei doi oameni au răspuns corect.
Watson, pe de altă parte, a răspuns „Toronto”,
pentru categoria unui oraș american.
Sistemul impresionant a făcut și el o eroare
pe care un om n-ar face-o niciodată, un copil de clasa a doua n-ar face-o.
Inteligența noastră artificială poate da greș
în moduri care nu se potrivesc cu tiparele de erori ale oamenilor,
în moduri neașteptate și pentru care trebuie să ne pregătim.
Ar fi groaznic ca cineva să nu primească un job pentru care e calificat,
dar ar fi de trei ori mai rău dacă ar fi din cauza depășirii seriei
în vreo subrutină.
(Râsete)
În mai 2010,
un flash crash de pe Wall Street alimentat de o buclă de reacție
în algoritmul de „vânzare” de pe Wall Street
a șters un trilion de dolari în 36 de minute.
Nici nu vreau să mă gândesc ce înseamnă „eroare”
în contextul armelor autonome letale.
Deci da, oamenii au avut mereu prejudecăți.
Factori de decizie și gardieni,
în instanță, la știri, în război...
ei iau decizii și asta vreau să subliniez.
Nu putem scăpa de aceste întrebări dificile.
Nu ne putem externaliza responsabilitățile către mașinării.
(Aplauze)
Inteligența artificială nu ne dă un permis care să ne scape de etică.
Analistul de date Fred Benenson numește asta spălarea prin matematică.
Avem nevoie de exact contrariul.
Trebuie să cultivăm suspiciunea algoritmului, controlul și investigația.
Trebuie să ne asigurăm că avem contabilitate algoritmică,
revizie contabilă și transparență însemnată.
Trebuie să acceptăm că aducerea matematicii și informaticii
în problemele umane încurcate și pline de valori
nu aduce obiectivitate.
Mai degrabă, complexitatea problemelor umane invadează algoritmii.
Putem și trebuie să folosim informatica
pentru a ne ajuta să luăm decizii mai bune.
Dar trebuie să ne recunoaștem responsabilitatea morală față de judecată
și să folosim algoritmii în acest cadru,
nu ca mijloc de abdicare și externalizare a responsabilităților
unul față de celălalt, de la om la om.
Inteligența artificială e aici.
Asta înseamnă că trebuie să ținem și mai bine
de valorile și eticile umane.
Vă mulțumesc!
(Aplauze)