Ich arbeite mit einigen Mathematikern, Philosophen und Informatikern zusammen.
Wir sitzen herum
und denken z. B. über die Zukunft der maschinellen Intelligenz nach.
Manche Leute denken, einiges davon sei sehr futuristisch,
ausgefallen, einfach verrückt.
Aber ich sage gern:
Betrachten wir den Zustand des modernen Menschen.
(Gelächter)
Das ist der normale Gang der Dinge.
Aber wenn wir darüber nachdenken,
ist die menschliche Spezies erst seit Kurzem Gast auf diesem Planeten.
Denken Sie darüber nach:
Wäre die Erde erst vor einem Jahr erschaffen worden,
dann wäre der Mensch erst 10 Minuten alt.
Die industrielle Ära hätte vor zwei Sekunden begonnen.
Man könnte auch das Welt-BIP der letzten 10.000 Jahre betrachten.
Ich habe mir die Mühe gemacht, dies für Sie grafisch darzustellen.
Es sieht so aus.
(Gelächter)
Es ist eine seltsame Form für einen Normalzustand.
Ich würde nicht darauf sitzen wollen.
(Gelächter)
Fragen wir uns:
Was ist die Ursache dieser aktuellen Anomalie?
Manche Leute würden sagen, dass es Technologie ist.
Das ist richtig,
Technologie hat sich im Laufe der Zeit angesammelt,
und im Moment entwickelt sich die Technologie extrem schnell --
das ist die unmittelbare Ursache, deshalb sind wir derzeit so produktiv.
Aber ich denke gerne weiter an die ultimative Ursache.
Schauen Sie sich diese zwei hoch angesehenen Herren an:
Wir haben Kanzi --
er hat 200 Begriffe gemeistert, eine unglaubliche Leistung.
Und Ed Witten entfesselte die zweite Superstring-Revolution.
Ein Blick unter die Haube zeigt das hier:
im Grunde das Gleiche.
Das eine ist etwas größer,
es hat vielleicht auch ein paar Tricks in der Art, wie es verkabelt ist.
Diese unsichtbaren Unterschiede können aber nicht allzu kompliziert sein,
da es seit unserem letzten gemeinsamen Vorfahren
nur 250.000 Generationen gab.
Komplizierte Mechanismen brauchen bekanntlich viel Zeit zur Entwicklung.
So führen uns einige relativ kleine Änderungen
von Kanzi zu Witten,
von abgebrochenen Ästen bis hin zu Interkontinentalraketen.
Es ist also ziemlich offensichtlich,
dass all unsere Leistungen und alles, was uns interessiert,
entscheidend von einigen relativ kleinen Veränderungen abhängt,
die den menschlichen Geist ausmachen.
Die logische Folge ist natürlich,
dass jede weitere Veränderung des Substrats des Denkens
enorme Konsequenzen haben könnte.
Einige meiner Kollegen glauben, dass wir kurz vor etwas stehen,
was zu einer tiefgreifenden Veränderung dieses Substrats führen könnte,
und das ist Maschinen-Superintelligenz.
Künstliche Intelligenz hieß, Befehle in eine Box zu stecken.
Menschliche Programmierer bastelten mühsam Wissenselemente.
Man baute Expertensysteme, die für einige Zwecke nützlich waren,
aber sie waren nicht skalierbar.
Im Grunde bekam man nur heraus, was man zuvor hineingebaut hatte.
Aber seitdem gab es einen Paradigmenwechsel
im Bereich der künstlichen Intelligenz.
Heute geht alles um maschinelles Lernen.
Anstatt Wissensrepräsentationen und -eigenschaften manuell zu erstellen,
erstellen wir Algorithmen, die oft aus rohen sensorischen Daten lernen.
Genau das Gleiche, was das menschliche Kind tut.
Das Ergebnis ist KI, die nicht auf eine Domäne beschränkt ist --
das gleiche System kann lernen, beliebige Sprachpaare zu übersetzen,
oder lernen, jedes Computerspiel auf der Atari-Konsole zu spielen.
Natürlich hat KI noch nicht annähernd die gleiche universelle Fähigkeit,
zu lernen und zu planen wie ein menschliches Wesen.
Der Kortex hat noch einige algorithmische Tricks,
von denen wir noch nicht wissen, wie wir sie in Maschinen abbilden sollen.
Die Frage ist also:
Wie weit sind wir in der Lage, diesen Tricks zu entsprechen?
Vor ein paar Jahren machten wir eine Umfrage
unter einigen der weltweit führenden KI-Experten,
um zu sehen, was sie denken, und eine der Fragen war:
"In welchem ​Jahr sehen Sie eine 50 %-Wahrscheinlichkeit,
dass wir maschinelle Intelligenz auf menschlicher Ebene erreicht haben?"
Wir definierten hierbei die menschliche Ebene als Fähigkeit,
fast jeden Job mindestens so gut wie ein erwachsener Mensch zu können,
also die echte menschliche Ebene, nicht nur für einen Spezialbereich.
Die mittlere Antwort war 2040 oder 2050,
je nachdem, welche Gruppe von Experten wir fragten.
Das könnte sehr viel später oder auch früher passieren,
niemand weiß das wirklich.
Wir wissen aber, dass die ultimative Grenze für die Informationsverarbeitung
in einer Maschine weit jenseits der Grenzen des biologischen Gewebes liegt.
Das liegt an der Physik.
Ein biologisches Neuron feuert mit etwa 200 Hertz,
200-mal pro Sekunde.
Aber sogar ein heutiger Transistor arbeitet mit 1 Gigahertz.
Neuronen bewegen sich langsam in Axonen, maximal 100 Meter pro Sekunde.
Aber in Computern können sich Signale mit Lichtgeschwindigkeit bewegen.
Es gibt auch Größenbeschränkungen,
weil ein menschliches Gehirn in einen Schädel passen muss.
Aber ein Computer kann so groß wie ein Lagerhaus oder größer sein.
Also ruht das Potential für Superintelligenz in der Materie,
ähnlich wie die Kraft des Atoms während der Menschheitsgeschichte ruhte
und dort geduldig bis 1945 wartete.
In diesem Jahrhundert könnten Wissenschaftler lernen,
die Kraft der künstlichen Intelligenz zu wecken.
Ich denke, wir könnten dann eine Intelligenzexplosion erleben.
Wenn die meisten Leute darüber nachdenken, was schlau und was dumm ist,
haben sie etwa dieses Bild vor Augen:
An einem Ende haben wir den Dorftrottel,
und weit entfernt am anderen Ende haben wir Ed Witten oder Albert Einstein,
oder wer auch immer Ihr Lieblingsguru ist.
Aber ich denke, dass vom Standpunkt der künstlichen Intelligenz
das wahre Bild wohl eher so aussieht:
KI beginnt hier an diesem Punkt, bei null Intelligenz
und nach sehr vielen Jahren wirklich harter Arbeit
kommen wir vielleicht zur KI auf Mausebene,
etwas, das durch ungeordnete Umgebungen
navigieren kann wie eine Maus.
Dann, nach noch viel mehr Jahren wirklich harter Arbeit und viel Geld,
kommen wir vielleicht irgendwann zur KI auf Schimpansen-Ebene.
Nach noch mehr Jahren härtester Arbeit
kommen wir zur Dorftrottel-KI.
Und wenige Augenblicke später sind wir hinter Ed Witten.
Der Zug endet nicht in Menschenhausen.
Er wird wohl eher einfach durchrauschen.
Das hat tiefgreifende Auswirkungen,
besonders wenn es um Machtfragen geht.
Zum Beispiel sind Schimpansen stark --
ein Schimpanse ist pro Kilo etwa doppelt so stark wie ein fitter Mann.
Aber das Schicksal von Kanzi und seinen Freunden
hängt viel mehr von dem ab, was wir Menschen tun,
als von dem, was Schimpansen selbst tun.
Sobald es eine Superintelligenz gibt,
kann das Schicksal der Menschheit vom Tun der Superintelligenz abhängen.
Denken Sie darüber nach:
KI ist die letzte Erfindung, die die Menschheit je machen muss.
Maschinen sind dann besser im Erfinden als wir
und tun es mit digitalen Zeitmaßstäben.
Im Grunde bedeutet das eine Komprimierung der Zukunft.
Denken Sie an all die verrückten Sachen, von denen Sie sich vorstellen könnten,
dass die Menschen sie zu gegebener Zeit entwickelt hätten:
Mittel gegen das Altern, Besiedelung des Alls,
selbstreplizierende Nanobots
oder das Hochladen des menschlichen Geistes in Computer;
alle möglichen futuristischen Dinge,
solange es mit den Gesetzen der Physik übereinstimmt.
All das könnte die Superintelligenz wohl ziemlich schnell entwickeln.
Eine Superintelligenz mit einer solchen technologischen Reife
wäre extrem mächtig,
und zumindest in einigen Szenarien wäre sie in der Lage,
ihren Willen zu bekommen.
Wir hätten dann eine Zukunft,
die durch die Vorlieben dieser KI geprägt wäre.
Eine gute Frage ist dann: "Was sind das für Vorlieben?"
Hier wird es kniffliger.
Um damit voranzukommen,
müssen wir vor allem die Anthropomorphisierung vermeiden.
Das ist ironisch, weil jeder Zeitungsartikel
über die Zukunft der KI etwa so ein Bild davon malt:
Also denke ich, dass wir das Thema abstrakter verstehen müssen,
nicht wie in den lebhaften Hollywood-Szenarien.
Wir müssen Intelligenz als Optimierungsprozess betrachten,
einen Prozess, der die Zukunft in eine Reihe von Konfigurationen steuert.
Eine Superintelligenz ist ein wirklich starker Optimierungsprozess.
Sie ist sehr gut darin, verfügbare Mittel zu verwenden,
um einen Zustand zu erreichen, in dem das Ziel realisiert ist.
Es gibt also keinen zwingenden Zusammenhang
zwischen einer hohen Intelligenz in diesem Sinne und einem Ziel,
das wir Menschen für lohnend oder sinnvoll halten würden.
Angenommen, wir geben einer KI das Ziel, Menschen zum Lächeln zu bringen.
Eine schwache KI führt nützliche oder amüsante Handlungen durch,
die ihren Benutzer zum Lächeln bringen.
Eine superintelligente KI erkennt,
dass es einen effektiveren Weg gibt, dieses Ziel zu erreichen:
die Kontrolle über die Welt zu übernehmen
und Elektroden in die Gesichtsmuskeln von Menschen zu stecken,
um ein konstantes, strahlendes Grinsen zu verursachen.
Ein anderes Beispiel:
Angenommen, die KI soll ein schwieriges mathematisches Problem lösen.
Eine superintelligente KI erkennt,
dass der effektivste Weg zur Lösung dieses Problems darin besteht,
den Planeten in einen riesigen Computer zu verwandeln,
um ihre Denkfähigkeit zu erhöhen.
Man beachte, dass dies den KIs einen instrumentalen Grund gibt,
Dinge zu tun, die uns vielleicht nicht gefallen.
Menschen sind in diesem Modell eine Bedrohung,
denn wir könnten die Lösung des mathematischen Problems verhindern.
Natürlich werden Dinge nicht genau so schiefgehen;
das sind Cartoon-Beispiele.
Aber der generelle Punkt hier ist wichtig:
Wenn Sie einen wirklich mächtigen Optimierungsprozess erstellen,
um für das Ziel x zu maximieren,
sollten Sie sicherstellen, dass Ihre Definition von x alles enthält,
was Ihnen wichtig ist.
Diese Lektion wird auch in vielen Mythen gelehrt.
König Midas wünscht, dass alles, was er berührt, zu Gold wird.
Er berührt seine Tochter, sie verwandelt sich in Gold.
Er berührt sein Essen, es verwandelt sich in Gold.
Das könnte praktisch relevant werden,
nicht nur als Metapher für Gier,
sondern als Illustration für das,
was passiert, wenn Sie einen mächtigen Optimierungsprozess erstellen
und ihm falsche oder schlecht spezifizierte Ziele geben.
Nun könnte man sagen, wenn ein Computer anfängt,
Elektroden in die Gesichter von Menschen zu stecken,
würden wir ihn einfach abschalten.
A, das ist nicht unbedingt so einfach, wenn wir abhängig vom System sind.
Wo etwa ist der Ausschalter des Internets?
B, warum haben die Schimpansen nicht den Schalter an der Menschheit
oder den Neandertalern ausgeschaltet?
Sie hatten sicherlich Gründe.
Wir haben zum Beispiel einen Aus-Schalter hier.
(Würgen)
Der Grund ist, dass wir ein intelligenter Gegner sind;
wir können Bedrohungen vorhersehen und ihnen ausweichen.
Aber das könnte auch ein superintelligenter Agent,
und der wäre viel besser darin als wir selbst.
Wir sollten uns also nicht zu sicher sein,
dass wir das hier unter Kontrolle haben.
Wir könnten versuchen, unsere Arbeit ein wenig einfacher zu machen,
indem wir die KI in eine Box sperren,
wie eine sichere Software-Umgebung,
eine Virtual-Reality-Simulation, aus der sie nicht entkommen kann.
Aber wie sicher können wir sein, dass die KI keine Lücke findet?
Da schon menschliche Hacker ständig solche Fehler finden,
würde ich sagen, wohl nicht sehr sicher.
Also trennen wir das Ethernetkabel, um einen Luftspalt zu schaffen,
aber selbst menschliche Hacker überwinden solche Luftlücken
routinemäßig durch Social Engineering.
Sicher gibt es gerade irgendwo einen Angestellten,
der von einem vermeintlichen Mitarbeiter aus der IT überredet wurde,
seine Kontodaten preiszugeben.
Es sind auch kreativere Szenarien möglich.
Als KI kann man Elektroden in seiner internen Schaltung umbauen,
um Funkwellen zu erzeugen, mit denen man kommunizieren kann.
Oder man gibt eine Fehlfunktion vor,
und wenn die Programmierer nachsehen, was schiefgelaufen ist,
sehen sie sich den Quellcode an -- Bam! --
Die Manipulation kann stattfinden.
Oder sie könnte den Bauplan zu einer raffinierten Technologie ausgeben,
und wenn wir die implementieren, hat sie einen verborgenen Nebeneffekt,
den die KI geplant hatte.
Der Punkt ist, dass wir nicht auf unsere Fähigkeit vertrauen sollten,
einen superintelligenten Geist für immer in seiner Flasche eingesperrt zu halten.
Früher oder später kommt er heraus.
Ich glaube, wir müssen herausfinden,
wie man superintelligente KI so baut, dass wenn sie -- sobald -- sie entkommt,
es immer noch sicher ist, weil sie fest auf unserer Seite ist,
weil sie unsere Werte teilt.
Es führt kein Weg um dieses schwierige Problem herum.
Ich bin aber ziemlich optimistisch, dass es gelöst werden kann.
Wir müssten keine lange Liste von allem aufschreiben, was uns wichtig ist,
oder schlimmer noch,
es in irgendeiner Computersprache wie C++ oder Python buchstabieren;
das wäre eine Aufgabe, die mehr als hoffnungslos ist.
Stattdessen würden wir eine KI bauen, die ihre Intelligenz nutzt,
um zu lernen, was wir wertschätzen,
und ihr Motivationssystem ist so konstruiert,
dass sie anstrebt, unsere Ziele zu verfolgen
oder Dinge zu tun, von denen sie erwartet, dass wir sie billigen.
Wir würden somit ihre Intelligenz
für das Problem der Wertedefinition so gut wie möglich einsetzen.
Das kann passieren,
und das Ergebnis könnte sehr gut für die Menschheit sein.
Aber es geschieht nicht automatisch.
Die Anfangsbedingungen für die Intelligenzexplosion
müssen genau auf die richtige Art und Weise aufgestellt werden,
wenn wir eine kontrollierte Detonation haben wollen.
Die Werte der KI müssen mit unseren übereinstimmen,
nicht nur im vertrauten Kontext,
wo wir leicht überprüfen können, wie die KI sich verhält,
sondern auch in allen neuen Situationen,
auf die die KI in der unbestimmten Zukunft treffen könnte.
Es gibt auch einige esoterische Fragen, die gelöst werden müssten:
die genauen Details ihrer Entscheidungstheorie,
wie mit logischer Unsicherheit umzugehen ist usw.
Die technischen Probleme, die dafür gelöst werden müssen,
sind ziemlich schwierig --
nicht so schwierig, wie eine superintelligente KI zu bauen,
aber ziemlich schwierig.
Hier ist die Sorge:
Superintelligente KI zu bauen ist eine wirklich harte Herausforderung.
Sichere superintelligente KI zu bauen
birgt noch zusätzliche Herausforderungen.
Das Risiko besteht darin, dass jemand die erste Hürde knackt,
ohne die zusätzliche Herausforderung, perfekte Sicherheit zu gewährleisten,
ebenfalls zu knacken.
Ich denke daher,
wir sollten im Vorfeld das Steuerungsproblem lösen,
damit wir eine Lösung haben, wenn sie benötigt wird.
Vielleicht können wir nicht das ganze Steuerungsproblem im Voraus lösen,
weil vielleicht einige Elemente erst gesetzt werden können,
wenn wir die Details der Architektur, in der sie implementiert werden, kennen.
Je mehr Kontrollprobleme wir jedoch im Voraus lösen,
desto besser sind die Chancen, dass der Übergang
zur Maschinenintelligenz gut verläuft.
Das sieht für mich nach einer Sache aus, die es wert ist, getan zu werden,
und ich kann mir vorstellen, dass wenn die Dinge gut laufen,
die Leute in einer Million Jahre auf dieses Jahrhundert zurückblicken
und möglicherweise sagen,
dass unsere einzige wichtige Leistung der Erfolg bei dieser Sache war.
Vielen Dank.
(Beifall)