Ik werk met een hoop wiskundigen, filosofen en informatici,
en we zitten onder andere na te denken
over de toekomst van machine-intelligentie.
Sommige mensen vinden dit nogal science-fictionachtig,
over de schreef, te gek.
Maar laat ons eens kijken
naar de moderne menselijke conditie.
(Gelach)
Dit is de normale manier van zijn.
Maar als we erover nadenken,
zijn we eigenlijk op deze planeet recent aangekomen gasten,
de menselijke soort.
Als de ouderdom van de Aarde één jaar zou zijn,
dan is de menselijke soort 10 minuten oud.
Het industriële tijdperk begon twee seconden geleden.
Of kijk eens hoe het mondiale bbp in de afgelopen 10.000 jaar veranderde,
Ik heb er een grafiek van gemaakt.
Zo ziet ze er uit.
(Gelach)
Een merkwaardige vorm voor een normale toestand.
Daar wil je niet op gaan zitten.
(Gelach)
Vanwaar komt die huidige anomalie?
Sommige mensen zouden zeggen dat het komt door de technologie.
Inderdaad stapelde de technologie zich op doorheen de menselijke geschiedenis,
en nu gaat het wel heel snel -
dat is de directe oorzaak,
daarom zijn we zo productief.
Maar ik denk ook graag aan de uiteindelijke oorzaak.
Kijk eens naar deze twee zeer voorname heren:
Dat is Kanzi --
hij beheerst 200 lexicale tokens, een ongelooflijke prestatie.
En Ed Witten ontketende de tweede superstringrevolutie.
Als we onder de motorkap kijken, vinden we dit:
in principe hetzelfde.
Een is iets groter,
en heeft misschien ook wel een paar trucjes
in de exacte manier waarop het is bedraad.
Deze onzichtbare verschillen kunnen niet te ingewikkeld zijn,
want er zijn slechts 250.000 generaties
sinds onze laatste gemeenschappelijke voorouder.
Ingewikkelde mechanismen hebben een lange tijd nodig om te evolueren.
Een hoop relatief kleine wijzigingen
brengt ons van Kanzi tot Witten,
van afgebroken boomtakken tot intercontinentale ballistische raketten.
Het lijkt vrij duidelijk dat alles wat we hebben bereikt,
en alles waar we om geven,
sterk afhangt van een aantal relatief kleine wijzigingen
die de menselijke geest uitmaken.
Daaruit volgt natuurlijk dat verdere wijzigingen
die het substraat van het denken aanzienlijk zouden kunnen veranderen
potentieel enorme gevolgen kunnen hebben.
Sommige collega's denken dat we aan het begin staan
van iets dat een diepgaande verandering in dat substraat kan veroorzaken,
en dat is de machinale superintelligentie.
Kunstmatige intelligentie ging vroeger over opdrachten in een doos steken.
Je had de menselijke programmeurs
die nauwgezet kennisitems in elkaar knutselden.
Je bouwt expertsystemen.
Ze zijn bruikbaar voor bepaalde doeleinden,
maar erg broos en niet schaalbaar.
Kortom, je krijgt alleen wat je erin steekt.
Maar sindsdien was er paradigmaverschuiving
op het gebied van kunstmatige intelligentie.
Vandaag ligt de focus op ‘machinaal leren’.
In plaats van kennisrepresentaties en functies in elkaar te knutselen,
creëren we algoritmen die zelf leren, vaak vanuit ruwe perceptuele data.
In principe hetzelfde als wat een kind doet.
Het resultaat is dat AI niet beperkt is tot één domein -
hetzelfde systeem kan leren vertalen tussen alle paren van talen,
of elk computerspel leren spelen op een Atari console.
AI komt het nog niet in de buurt van het domeinoverschrijdende vermogen
om te leren en te plannen dat een mens heeft.
De cortex heeft nog een aantal algoritmische trucs
die we nog niet kunnen implementeren in machines.
De vraag is:
hoe ver staan we af van het vermogen om die trucs toe te passen?
Een paar jaar geleden deden we een enquête
bij 's werelds toonaangevende AI-experts,
om te zien wat ze denken.
Een van de vragen was:
"Voor welk jaar denkt u dat er 50 procent kans is
dat we menselijke machine-intelligentie gaan hebben?”
We definieerden menselijk hier als het vermogen om bijna elke taak
tenminste als een volwassen mens te kunnen uitvoeren.
Dus echt als een mens, niet alleen binnen een beperkt domein.
Het mediane antwoord was 2040 of 2050,
afhankelijk van de groep deskundigen.
Het zou veel later of eerder kunnen gebeuren.
De waarheid is dat niemand het echt weet.
Wat we wel weten, is dat de ultieme limiet aan informatieverwerking
de grenzen van biologisch weefsel ver overstijgt.
Dit komt door de natuurkunde.
Een biologisch neuron vuurt op 200 hertz, 200 keer per seconde.
Maar zelfs een hedendaagse transistor werkt op Gigahertz [1 miljard hertz].
Neuronen gaan in axonen aan 100 meter per seconde, maximum.
Maar in computers reizen signalen met de snelheid van het licht.
Er zijn ook beperkingen in grootte:
een menselijk brein moet passen in een schedel,
maar een computer kan zo groot zijn als een magazijn of groter.
Het potentieel voor superintelligentie sluimert in de materie,
net als de kracht van het atoom in de menselijke geschiedenis sluimerde,
geduldig wachtend tot 1945.
In deze eeuw kunnen wetenschappers leren hoe
de kracht te ontketenen van kunstmatige intelligentie.
Dan zien we misschien een intelligentie-explosie.
Wanneer de meeste mensen nadenken over wat slim is en wat dom is,
maken ze zich misschien deze voorstelling.
Helemaal links hebben we de dorpsgek,
en ver aan de andere zijde
hebben we Ed Witten, of Albert Einstein, of wie je favoriete goeroe ook is.
Maar vanuit het oogpunt van kunstmatige intelligentie,
ziet het er waarschijnlijk meer zo uit:
AI begint op dit punt hier, op nul intelligentie,
en dan, na vele, vele jaren van hard werken,
krijgen we misschien uiteindelijk kunstmatige intelligentie van muisniveau,
iets dat kan navigeren in rommelige omgevingen
zoals een muis.
Na nog eens vele jaren van hard werk, veel investeringen,
halen we misschien uiteindelijk AI van chimpanseeniveau.
Na nog meer jaren van echt, echt hard werken,
krijgen we kunstmatige intelligentie op dorpsgekniveau.
En wat later zijn we verder dan Ed Witten.
Maar de trein stopt niet bij station Mens.
Hij suist er waarschijnlijk eerder snel voorbij.
Nu heeft dit ingrijpende gevolgen,
in het bijzonder als het gaat om vragen van macht.
Zo zijn chimpansees sterk -
voor hetzelfde gewicht ongeveer twee keer zo sterk als een fitte menselijke man.
En toch hangt het lot van Kanzi en zijn vriendjes
veel meer af van wat wij mensen doen dan van wat de chimpansees zelf doen.
Zodra er superintelligentie is,
kan het lot van de mensheid afhangen van wat de superintelligentie doet.
Denk er over na:
machine-intelligentie zal de laatste uitvinding van de mensheid zijn.
Machines zullen dan beter zijn in uitvinden dan wij,
en ze zullen het doen op digitale tijdschalen.
Dit betekent de toekomst 'telescoperen'.
Denk aan alle gekke technologieën die je je zou kunnen inbeelden,
die mensen misschien zullen ontwikkelen in de loop van de tijd:
behandelingen voor veroudering, kolonisatie van de ruimte,
zelfreplicerende nanobots of geesten uploaden in computers,
allerlei science-fictionachtige dingen
maar toch in overeenstemming met de wetten van de fysica.
Dit alles zou superintelligentie kunnen ontwikkelen,
en eventueel vrij snel.
Een superintelligentie met een dergelijke technologische maturiteit
zou zeer krachtig zijn,
en zou, ten minste in een aantal scenario's,
in staat zijn om te krijgen wat ze wil.
Onze toekomst zou dan afhangen van de voorkeuren van deze AI.
De vraag is wat die voorkeuren zijn.
Hier wordt het lastiger.
Om hierin vooruitgang te boeken,
moeten we in de eerste plaats antropomorfiseren vermijden.
Ironisch genoeg vind je bij elk krantenartikel
over de toekomst van AI iets dergelijks: [dia]
We moeten het probleem meer abstract benaderen,
niet in termen van Hollywoodscenario's.
We moeten intelligentie zien als een optimalisatieproces,
een proces dat de toekomst stuurt naar een bepaalde set van configuraties.
Een superintelligentie is echt een sterk optimalisatieproces.
Ze is zeer goed in het gebruik van de beschikbare middelen
om een ​​toestand te bereiken
waar haar doel wordt gerealiseerd.
Dit betekent dat er geen noodzakelijk verband is tussen
in deze zin zeer intelligent zijn
en een doelstelling hebben
die wij mensen de moeite waard of zinvol zouden vinden.
Stel dat we een AI de opdracht geven om mensen te laten glimlachen.
Als de AI zwak is, voert ze nuttige of amusante acties uit
om de gebruiker te laten glimlachen.
Maar een superintelligente AI realiseert zich
dat er een effectievere manier is om dit doel te bereiken:
neem de controle van de wereld over,
plak elektroden op de gezichtsspieren
en veroorzaak een constante, stralende grijns.
Een ander voorbeeld, we willen de AI
een ​​moeilijk wiskundig probleem laten oplossen.
Wanneer de AI superintelligent wordt,
vindt ze de meest effectieve manier om dit probleem op te lossen:
door de planeet om te vormen in een gigantische computer,
voor meer denkvermogen.
Merk op dat dit de AI een instrumentele rede geeft
om ons dingen aan te doen die we niet zouden willen.
Hier zijn menselijke wezens bedreigingen,
die in de weg staan van de oplossing van het probleem.
Natuurlijk zal het zo niet gaan.
Dit zijn cartoon-voorbeelden.
Maar het algemene punt blijft belangrijk:
als je een echt krachtig optimalisatieproces creëert
om objectief x te maximaliseren,
kun je er beter voor zorgen dat je definitie van x
alles omvat waar je om geeft.
Deze les vind je terug in een aantal mythes.
Koning Midas wenst dat alles wat hij aanraakt, verandert in goud.
Hij raakt zijn dochter aan, ze verandert in goud.
Hij raakt zijn eten aan, het verandert in goud.
Dit kan praktisch relevant worden,
niet alleen als metafoor voor hebzucht,
maar als voorbeeld van wat er gebeurt
als je een krachtig optimalisatieproces creëert
en het onjuiste of slecht omschreven doelen geef.
Nu zou je kunnen zeggen dat als een computer elektroden
in de gezichten van mensen begint te steken,
we hem gewoon uitschakelen.
A: misschien niet zo gemakkelijk om doen
als we te afhankelijk van het systeem zijn geworden -
zoals, waar is de uitschakelaar van het internet?
B: waarom hebben de chimpansees of de neanderthalers
de schakelaar voor de mensheid niet uitgezet?
Ze hadden zeker redenen.
We hebben een uitschakelaar, deze bijvoorbeeld.
(Knijpt keel toe)
Wij zijn intelligente tegenstanders.
Wij kunnen anticiperen op bedreigingen en ze zo vermijden.
Maar een superintelligentie kan dat ook,
en veel beter dan wij.
We moeten er niet te zeker van zijn dat we dit onder controle houden.
We kunnen proberen ons werk te vergemakkelijken door bijvoorbeeld
de AI in een doos te stoppen,
een veilige softwareomgeving,
een virtual reality simulatie van waaruit ze niet kan ontsnappen.
Maar hoe zeker kunnen we zijn dat de AI daar geen bug in zou vinden?
Zelfs louter menselijke hackers vinden de hele tijd bugs.
Daar moeten we maar niet te zelfverzekerd in zijn.
De ethernet-kabel loskoppelen en een luchtspleet maken?
Nogmaals, louter menselijke hackers
omzeilen de hele tijd luchtspleten door ‘social engineering’.
Ik ben er zeker van dat op dit eigenste moment
een werknemer ergens haar accountgegevens meedeelt
aan iemand die beweert van de IT-afdeling te zijn.
Nog creatievere scenario's zijn mogelijk,
Als AI zou je kunnen bedenken hoe je,
door wat met je elektroden in je interne circuit te wiebelen,
radiogolven kunt maken om te communiceren.
Of misschien kan je een storing simuleren,
en wanneer de programmeurs je openen om te zien wat er mis ging
en kijken naar de broncode, kan - Bam! -
de manipulatie plaatsvinden.
Of ze kan de blauwdruk ontwerpen voor een echt handige technologie,
en zodra we ze implementeren,
heeft ze een aantal heimelijke neveneffecten die de AI had gepland.
Het komt erop neer dat we er niet op mogen vertrouwen
dat we een superintelligente geest
voor altijd in zijn fles opgesloten kunnen houden.
Vroeg of laat ontsnapt hij.
Het antwoord hierop is, achterhalen hoe
je een superintelligente AI zo ontwerpt dat zelfs als - wanneer - ze ontsnapt,
ze nog veilig is doordat ze fundamenteel aan onze kant staat,
ze onze waarden deelt.
Ik zie geen manier om dit moeilijke probleem uit de weg te gaan.
Maar ik ben eigenlijk vrij optimistisch dat dit probleem kan worden opgelost.
Het zal niet nodig zijn een lange lijst van alles waar we om geven op te stellen,
of erger nog, ze in een computertaal
zoals C++ of Python op te schrijven,
dat zou een hopeloze taak zijn.
We moeten een AI creëren die haar intelligentie gebruikt
om te leren wat wij waarderen,
en haar motivatiesysteem zo construeren dat ze gemotiveerd is
om onze waarden na te streven of om te doen wat wij zouden goedkeuren.
We zouden haar intelligentie als hefboom gebruiken om zo veel mogelijk
het probleem van 'waardenopslag' op te lossen.
Dit kan,
en de uitkomst zou zeer goed voor de mensheid kunnen zijn.
Maar het gebeurt niet automatisch.
De initiële voorwaarden voor de intelligentie-explosie
moeten op de juiste manier worden opgezet
als we een gecontroleerde ontploffing willen.
De waarden van die AI moeten passen bij de onze,
niet alleen in de vertrouwde context,
waar we het gedag van de AI gemakkelijk kunnen controleren,
maar ook in alle nieuwe contexten die de AI zou kunnen tegenkomen
in de onbepaalde toekomst.
Een aantal esoterische kwesties moeten worden opgelost:
de exacte details van haar beslissingstheorie,
hoe omgaan met logische onzekerheid, enzovoort, enzovoort.
De technische problemen om dit te laten werken
lijken heel moeilijk -
niet zo moeilijk als het maken van een superintelligente AI,
maar behoorlijk moeilijk.
Hier is de zorg:
Het maken van superintelligente AI is echt een lastige uitdaging.
Een veilige superintelligente AI maken,
houdt daarenboven een extra uitdaging in.
Het risico bestaat dat iemand de eerste uitdaging oplost
zonder de extra uitdaging van perfecte veiligheid
te hebben opgelost.
Ik denk dat we dat controleprobleem
vooraf moeten oplossen,
zodat we erover beschikken tegen de tijd dat het nodig is.
Misschien kan het hele controleprobleem niet op voorhand worden opgelost
omdat sommige elementen misschien pas kunnen worden aangebracht
als we de details kennen van de architectuur,
waarin het zal worden uitgevoerd.
Maar hoe beter we het controleprobleem vooraf oplossen,
hoe groter de kans dat de overgang naar machine-intelligentie
goed zal verlopen.
Dit lijkt me iets dat zeker de moeite waard is
en ik kan me voorstellen dat als alles goed afloopt,
mensen een miljoen jaar na nu naar deze eeuw terugkijken
en zeggen dat het enige wat we deden dat er echt toe deed,
was dit ding in orde krijgen.
Dankjewel.
(Applaus)