Spolupracuji s matematiky, filozofy a informatiky,
se kterými přemýšlíme nad budoucností strojové inteligence
a dalšími otázkami.
Někteří lidé si myslí, že jde o věci patřící do science-fiction,
tedy vzdálené a bláznivé.
Na to jim ale rád odpovídám,
fajn, tak se podívejte na moderního člověka.
(Smích)
Tohle je dnes běžný stav věcí.
Když se nad tím ale zamyslíme,
jako lidský druh jsme ve skutečnosti teprve
nedávnými hosty na této planetě.
Představíme-li si, že Země vznikla před rokem,
bude lidský druh starý pouhých 10 minut.
Průmyslová éra začala před dvěma sekundami.
Anebo se podívejme na vývoj světového HDP za posledních 10 tisíc let.
Dal jsem si takovou práci, že jsem vám jej zpracoval do grafu.
Vypadá takhle.
(Smích)
Jde o podivný tvar pro běžné podmínky.
Nechtěl bych na něm sedět.
(Smích)
Zeptejme se sami sebe, co je příčinou tohoto výkyvu?
Někteří lidé by odpověděli, že technika.
To je pravda, technika se během lidských dějin nahromadila
a v současnosti se vyvíjí extrémně rychle.
Je v tom příčinná souvislost.
Proto jsme nyní tak produktivní.
Já bych se ale rád vrátil k pravé příčině zpět do minulosti.
Podívejme se na tyto mimořádně ctihodné gentlemany:
tohle je Kanzi –
ovládl 200 různých znaků, fantastický výkon.
A Ed Witten spustil druhou superstrunovou revoluci.
Podíváme-li se pod pokličku, nalezneme tohle:
v podstatě jednu a tutéž věc.
Jedna je jen trochu větší
a možná má pár vylepšení ve svých zapojeních.
Ale tyto neviditelné rozdíly nemohou být příliš komplikované,
protože od doby našeho nejbližšího společného předka
uplynulo pouze 250 tisíc generací.
Víme, že složitější mechanismy potřebují ke svému vývoji delší dobu.
Takže skupina relativně malých změn
nás od Kanziho přenesla k Wittenovi,
od prolézání větvovím stromů k mezikontinentálním balistickým střelám.
Takže se zdá být zřejmé, že vše, čeho jsme dosáhli,
a vše, co nás zajímá,
zásadně závisí na relativně malých změnách, které vytvořily lidskou mysl.
Důsledkem toho je samozřejmě to, že jakékoli další změny,
které výrazně změní substrát našeho myšlení,
mohou mít potenciálně mimořádné důsledky.
Někteří z mých kolegů si myslí, že jsme na okraji něčeho,
co může přivodit podstatnou změnu tohoto substrátu.
Jde o strojovou superinteligenci.
Umělá inteligence bývala o zadávání příkazů do krabičky.
Museli jste mít lidské programátory,
kteří ručně vytvářeli databáze znalostí.
Získali jste tím expertní systémy,
které byly užitečné pro určité úkoly,
ale byly dost nevhodné pro nějaké výraznější rozšíření.
V podstatě jste z nich dostali jen to, co jste do nich vložili.
Ale od té doby
došlo na poli umělé inteligence ke změně paradigmatu.
Dnes se vše děje kolem strojového učení.
Takže namísto ručního vytváření databází znalostí,
vytváříme algoritmy, které se samy učí, často z velmi hrubých a neurčitých dat.
V podstatě dělají stejnou věc jako lidské miminko.
Výsledkem je umělá inteligence, která není omezena jednou oblastí:
tentýž systém se může naučit překládat z jednoho jazyka do druhého
nebo se může naučit hrát jakoukoli hru na konzoli Atari.
Samozřejmě
umělá inteligence nedosahuje stejných výsledků co se týče schopností učit se
napříč různými oblastmi a plánovat, jako dokáže člověk.
Mozková kůra má pořád v rukávu pár algoritmických
triků, které zatím neumíme u strojů vytvořit.
Otázkou je,
jak daleko jsme od toho, kdy se nám je vytvořit podaří?
Před pár lety
jsme udělali průzkum mezi experty na umělou inteligenci,
abychom věděli, co si oni myslí, a jedna z položených otázek zněla:
„V jakém roce si myslíte, že bude 50% pravděpodobnost,
že u strojů dosáhneme inteligence srovnatelné s lidskou?"
Lidskou inteligenci jsme definovali jako schopnost provádět téměř jakoukoli
práci přinejmenším takovým způsobem jako dospělý člověk,
takže jsme nevytvářeli nějaká omezení.
Nejčastější odpověď byla 2040 a 2050,
v závislosti na tom, jaké skupiny jsme se zeptali.
Může k tomu dojít mnohem později nebo mnohem dříve,
pravdou je, že to nikdo doopravdy neví.
Co ale víme, je, že nejzazší hranice pro zpracování informací leží
u strojových substrátů daleko za hranicemi biologických tkání.
Vysvětlení nám dává fyzika.
Biologický neuron má frekvenci okolo 200 Hz, je aktivní 200krát za sekundu.
Ale už dnešní tranzistory pracují na gigahertzových frekvencích.
Signál se v axonu neuronů šíří pomalu, maximálně 100 metrů za sekundu.
V počítačích může ale signál cestovat rychlostí světla.
A existují i prostorová omezení,
lidský mozek se musí vejít do lebky,
ale počítač může být velký jako skladiště nebo i větší.
Takže potenciál pro superinteligenci zatím tiše spočívá v hmotě,
podobně jako tam spočívala síla atomu
až do roku 1945.
V tomto století
se mohou vědci naučit, jak probudit sílu umělé inteligence.
A myslím, že pak uvidíme explozi inteligence.
Dnes většina lidí, když přemýšlí o tom, co je chytré a co hloupé,
má na mysli situaci jako je tato.
Takže na jedné straně máme vesnického idiota,
a na opačném konci
máme Eda Wittena nebo Alberta Einsteina nebo si doplňte svého oblíbence.
Myslím ale, že z pohledu umělé inteligence
vypadá skutečná situace spíše jako toto:
umělá inteligence začíná v tomto bodě na nule,
a pak po mnoha a mnoha letech tvrdé dřiny
se dostáváme téměř na úroveň inteligence myši,
něčeho, co se dokáže orientovat ve složitém prostředí,
jako to dokáže myš.
A pak po mnoha a mnoha letech další tvrdé dřiny, mnoha investicí,
možná dospějeme na úroveň inteligence šimpanze.
A pak po ještě dalších letech tvrdé práce
se dostaneme na úroveň vesnického idiota.
Ale pak po pár okamžicích jsme za úrovní Eda Wittena.
Vlak nezastavuje na Zastávce lidstvo.
Je pravděpodobnější, že jí prosviští.
Tohle má závažné implikace,
obzvláště dojde-li na otázky moci.
Kupříkladu šimpanzi jsou silní –
v poměru ke své hmotnosti jsou zhruba dvojnásobně silnější než dospělý muž.
Přesto osud Kanziho a jeho druhů závisí mnohem více na tom,
co po nich chceme my, a ne co chtějí sami šimpanzi.
Jakmile tu bude superinteligence,
osud lidstva může záviset na tom, co bude chtít superinteligence.
Zamyslete se nad tím.
Strojová inteligence je posledním vynálezem, který je kdy třeba učinit.
Stroje poté budou ve vynalézání lepší než my
a také budou pracovat digitální rychlostí.
To znamená, že nás přímo katapultují do budoucnosti.
Uvažte ty nejšílenější technologie, které si jen dokážete představit,
a které by snad lidstvo s dostatkem času někdy mohlo vytvořit:
kúra proti stárnutí, obydlení vesmíru,
samoreplikující se nanoroboti, nahrávání mysli do počítače,
všechny tyto věci ze science-fiction,
které nejsou v rozporu se zákony fyziky.
Všechno toto by mohla superinteligence vytvořit, zřejmě dost rychle.
Superinteligence s takovou technologickou vyspělostí
by byla extrémně mocná.
A v některých případech by dostala, co by si zamanula.
Naše budoucnost by tak byla utvářena preferencemi této umělé inteligence.
Dobrou otázkou proto je, jaké jsou tyto preference?
To je komplikovaná otázka.
Abychom mohli odpovědět,
musíme se vyvarovat antropomorfizaci.
A to je legrační, protože každý článek v novinách
o budoucnosti umělé inteligence má obrázek jako je tento.
Takže myslím, že musíme téma uchopit abstraktněji,
a ne v pojmech hollywoodských scénářů.
Musíme o inteligenci uvažovat jako o optimalizačním procesu,
procesu, který řídí budoucnost do mezí určitého nastavení.
Superinteligence je velice výkonný optimalizační proces.
Je velice dobrá ve využívání dostupných prostředků
k dosažení vytčeného cíle.
To znamená, že neexistuje nutné spojení
mezi vysokou inteligencí
a cílem, který bychom my lidé považovali za hodnotný nebo smysluplný.
Představte si, že dáme umělé inteligenci úkol rozesmát lidi.
Když bude slabá, provede užitečné nebo úsměvné úkony,
aby své uživatele rozesmála.
Když se stane superinteligentní,
uvědomí si, že existuje efektivnější způsob, jak toho dosáhnout:
převezme vládu nad světem
a strčí lidem do obličejových svalů elektrody,
čímž vytvoří neustálý úsměv na tváři.
Jiný příklad,
předpokládejme, že umělá inteligence bude řešit složitý matematický problém.
Když se stane superinteligentní,
uvědomí si, že nejefektivnější způsob, jak se dopracovat výsledku,
je přebudovat tuto planetu do obrovského počítače,
aby zvýšila výpočetní kapacitu.
Všimne si, že toto jí dává pomocný důvod,
aby dělala věci, které bychom jí běžně nedovolili.
Lidské bytosti jsou v této situaci hrozbou,
která by jí mohla zabránit ve vyřešení matematického problému.
Samozřejmě by se věci zřejmě nevyvíjely tímto způsobem,
jde o karikované příklady.
Ale obecné poučení je důležité:
pokud vytvoříte skutečně výkonný optimalizační proces,
abyste co nejlépe vyřešili úkol X,
ujistěte se, že definice tohoto X
zahrnuje všechno, o co máte zájem.
Je to lekce, kterou dávají i mnohé mýty.
Král Midas si přál, aby se všechno, čeho se dotkne, proměnilo ve zlato.
Dotkl se své dcery, a ta se proměnila ve zlato.
Dotkl se jídla, to se proměnilo ve zlato.
Tohle může být relevantní
nikoli jen jako metafora chamtivosti,
ale také jako ilustrace toho,
co se stane, když vytvoříte výkonný optimalizační proces
a dáte mu zavádějící nebo špatně definované cíle.
Můžete si říct, že pokud počítač začne lidem strkat do tváře elektrody,
prostě jej vypnete.
Za A, to nemusí být nutně tak jednoduše proveditelné, pokud na něm budeme závislí.
Kde je třeba tlačítko na vypnutí internetu?
Za B, proč šimpanzi nebo neandrtálci nezmáčkli vypínač
bránící vzniku lidstva?
Zcela jistě pro to byl důvod.
Máme vypínač například zrovna tady.
(Dusí se)
Důvodem je, že jsme inteligentní protivníci,
dokážeme předvídat hrozby a vyhýbat se jim.
To by ale dokázal i superinteligentní hráč,
a byl by v tom mnohem lepší než my.
Pointa je v tom, že bychom si neměli být tak jistí, že máme vše pod kontrolou.
Mohli bychom si zkusit usnadnit práci třeba tím,
že by se U. I. zavřela do skříňky,
do zabezpečeného prostředí,
simulované virtuální reality, ze které by nemohla uprchnout.
Ale jak moc si můžeme být jistí, že nenajde nějakou díru?
Vzhledem k tomu, že lidští hackeři nalézají díry v jednom kuse,
bychom moc jistí být neměli.
Takže vypojíme síťový kabel, abychom přerušili kontakt,
ale je to tu zas, lidští hackeři
běžně tuto překážku překonávají sociálním inženýrstvím.
Jak teď zrovna hovořím,
zcela jistě je venku nějaký zaměstnanec,
který byl požádán, aby nadiktoval údaje svého účtu
někomu, kdo tvrdí, že je z technické podpory.
Možné jsou i nápaditější scénáře,
kdy v roli U. I.
rozmístíte elektrody kolem svého obvodu,
abyste vytvořili rádiové vlny, kterými budete komunikovat.
Anebo můžete předstírat poruchu
a když se objeví programátor, aby se podíval, co se porouchalo,
aby se podíval na zdrojový kód – Bum! –
poradíte si s ním.
Anebo může vytvořit plán pro velmi mazanou technologii,
kterou když sestrojíme,
bude mít na nás neblahé vedlejší účinky.
Zkrátka bychom neměli příliš věřit ve svou schopnost
udržet superinteligentního džina v láhvi navždy.
Dříve nebo později se dostane ven.
Myslím, že řešením je přijít na to,
jak vytvořit superinteligenci tak, že i kdyby utekla,
byla by stále neškodná, protože by byla na naší straně,
protože by měla stejné hodnoty jako my.
Nevidím jinou možnost.
Jsem velice optimistický co se týče vyřešení tohoto problému.
Nemuseli bychom sepsat dlouhý seznam všeho, na čem nám záleží,
nebo jej snad vytvořit v programovacím jazyce
jako je C++ nebo Python,
což by byl beznadějný úkol.
Namísto toho bychom měli sestrojit systém, který svoji inteligenci využije
k tomu, aby se naučil, jaké hodnoty máme,
a aby jeho motivační systém byl naladěn tak,
aby sledoval tyto hodnoty a konal činy, které bychom schválili.
Mohli bychom ovlivnit jeho inteligenci jak jen by to bylo možné,
abychom vyřešili problém načítání hodnot.
Může k tomu dojít
a výsledek by byl pro lidstvo příznivý.
Nedojde k tomu ale automaticky.
Výchozí podmínky pro explozi inteligence
mohou vyžadovat to správné nastavení,
abychom dosáhli řízené detonace.
Hodnoty umělé inteligence musí být shodné s našimi,
a to nejen v běžných situacích,
kdy můžeme snadno zkontrolovat, jak se chová,
ale také v nových situacích, se kterými se může setkat
v neurčité budoucnosti.
Je tu také pár esoterických otázek, které by měly být vyřešeny:
přesné detaily její rozhodovací teorie,
jak bude nakládat s logickou neurčitostí a tak dále.
Takže technické problémy, které je třeba vyřešit,
vypadají složitě –
i když ne tak složitě jako vytvoření superinteligence,
každopádně hodně složitě.
Existuje jisté znepokojení.
Vytvoření superinteligence je skutečně velká výzva.
Vytvoření superinteligence, která bude bezpečná,
zahrnuje navíc několik dalších výzev.
Riziko spočívá v tom, když někdo přijde na to, jak vyřešit první výzvu,
aniž by zároveň vyřešil připojené výzvy
spojené se zachováním bezpečnosti.
Takže myslím, že bychom měli najít řešení,
jak to druhé vyřešit v předstihu,
abychom byli připravení, až dospěje čas.
Může se stát, že nevyřešíme problém včas,
protože některé části bude možné doplnit
až tehdy, kdy budeme znát podrobnosti výpočetní architektury.
Ale čím více v rámci tohoto problému vyřešíme,
tím větší je šance, že přechod do éry inteligentních strojů
proběhne dobře.
Toto na mě působí jako věc, kterou má smysl dělat,
a dovedu si představit, že pokud se věci vyvinou dobře,
lidé se za milion let podívají zpět na toto století
a řeknou si, že věc, kterou jsme udělali skutečně správně,
bylo vypořádání se s tímto problémem.
Děkuji.
(Potlesk)