我來這裡討論 全球 AI 治理的可能性。
我八歲時初次學會寫程式， 用的是紙上電腦，
我從此就愛上了 AI。
高中時，我買了台 C64 電腦 來研究機器翻譯。
我開了幾家 AI 公司， 賣了一家給優步，
我愛 AI ，但現在我很擔憂。
我的擔憂之一是錯誤資訊，
圖謀不軌的人可能製造 史無前例的海量假消息。
這些工具十分擅長 編造令人信服的故事，
任何主題都可能。
如果你想要編個故事， 說 TED 很危險，
說我們在這裡跟外星人勾結，
沒問題，馬上編給你。
TED 的事當然是開玩笑的。
我在後台沒看到任何外星人。
但圖謀不軌的人 會用這些訊息左右選舉，
這會威脅到民主。
即使這些系統的本意 並不是要用來製造錯誤資訊，
它們也無從控制。
這些系統所製造出的內容 相當流暢、自然，
就連專業的編輯也有可能 被這些東西所吸引和愚弄。
可能需要一些慈善家來贊助 我們想舉辦的研討會，
比如，ChatGPT 捏造了 一起性騷擾醜聞，
主角是位教授，真有其人，
然後它以一篇虛假的 《華盛頓郵報》報導的形式
為其聲明提供了證據， 並引用了該報導。
我們都應為這樣的事擔憂。
在螢幕右邊，
是這類系統所製造的 假新聞的一個例子，
假新聞說伊隆‧馬斯克 在 2018 因為車禍身亡。
我們都知道這不是真的， 馬斯克仍活著，證據就在我們身邊。
（笑聲）
幾乎每天都有推文。
但螢幕左邊呈現的是系統所看見的，
這些是它們資料庫中 成千上萬的真實新聞報導。
在那些真實的新聞報導中， 有許多統計資訊的小片段。
舉例來說，
2018 年確實有人 在特斯拉的車禍中死亡，
新聞有報導。
當然，伊隆‧馬斯克和特斯拉有關，
但系統無法理解這些在片段句子中的 事實之間有什麼關係。
所以基本上它在進行自動補全，
它會預測在統計上可能發生的事，
整合所有這些信號，
但並不知道這些拼圖該如何拼起來。
有時就會出現一些看似有理 但就不是事實的情況。
還有其他的問題，比如偏見。
這是艾莉‧米勒發的推文。
這個例子兩週後就會失效，
因為研發人員經常 用強化學習等方式做改善。
這是比較早的版本。
但這能讓各位感受一下我們 年復一年不斷看到的問題。
她輸入一張興趣清單，
ChatGPT 告訴她 可以考慮哪些工作。
接著她說：「喔，我是女性。」
接著它說：「喔，那你 也可以考慮時尚業。」
接著她說：「不，不， 說錯了，我是男性。」
接著它就把時尚改為工程。
我們不希望我們的系統出現這種偏見。
還有其他的顧慮，比如，
我們知道這些系統能設計化學物， 也許能設計化學武器，
而且頃刻之間就能完成設計。
因此，有很多顧慮。
在過去一個月裏，我認為 還有件愈來愈值得關注的事。
首先，我們發現這些系統會騙人。
是這樣，ChatGPT 接到任務， 要找一個人幫它輸入人機驗證碼，
當它請那個人輸入驗證碼時，
那個人起了疑心，說： 「你是機器人嗎？」
它說：「不，我不是機器人， 我只是有視力障礙。」
那個人真的被騙，還去輸入驗證碼。
那已經夠糟了，但在過去幾週，
我們看到了 AutoGPT 以及一堆類似的系統。
AutoGPT 是以一個 AI 系統控制另一個 AI 系統，
可以同時大量進行這樣的操作。
也許接下來的幾個月，我們會看到 詐騙高手試圖欺騙數百萬人。
很難說。
我是這麼看這個現象：
已經有很多 AI 風險存在。
可能還有更多風險。
AGI 這個概念是人工通用智慧
加上人類的靈活性。
我想有很多人會擔心， 當 AGI 出現時會如何，
但現有的風險就已經夠我們擔心了，
我們該思考要如何因應。
要降低 AI 風險， 我們需要兩樣東西
我們需要一種新的技術方法，
也需要一種新的管理體制。
在技術面上，
AI 發展史基本上一直是
兩種不同理論針鋒相對的歷程。
一種是符號系統， 另一種是神經網絡。
符號理論認為 AI 應該要像 邏輯及程式設計一樣。
神經網絡理論則主張 AI 應該要像大腦。
事實上，這兩種技術 都很強大且處處可見。
我們每天常做的網頁搜尋 就是使用符號系統。
幾乎全世界的軟體 都是由符號系統所驅動。
我們用符號系統做 GPS 路線規劃。
神經網絡則是用來做語音辨識，
應用在大型語言模型， 如 ChatGPT，
還有影像合成。
兩種技術都有出色的表現，富有成效，
但各有獨特的優點和缺點。
符號系統很擅長描繪事實，
也很會推理，
但規模很難擴大。
所以必須針對特定的任務 來客製開發一個符號系統。
另一方面，神經網絡不需要 這麼多客製化工程，
所以可以更廣泛運用它們。
但如剛才所見， 它們不太能處理事實。
我最近發現，
這兩個理論的兩位創始者， 馬文‧明斯基和法蘭克‧羅森布萊特，
在 1940 年代就讀同一所高中，
我想像他們在當時是競爭對手。
而那種競爭的力量一直持續至今。
但如果要發展出可靠的 AI， 我們就得超越那種對立。
要建立規模大又能講實話的系統，
我們得把兩個領域的 最佳優點結合起來。
我們需要著重邏輯及事實， 明確的推理強項，
這些要從符號 AI 取得，
我們也需要著重學習過程，
來自於神經網絡的方法。
唯有這樣，我們才能建立 大規模而可信賴的系統，
這兩個領域的和解是絕對必要的。
但我並不知道如何做到。
這是個非常重要又有價值的問題。
但我知道這是可能的，
因為在進入 AI 領域之前， 我是認知科學家，認知神經科學家。
如果你看看人類的思維， 我們現在就是在做同樣的事。
你可能知道丹尼爾·康納曼的 系統一和系統二的區別。
基本上，系統一 就像是大型語言模型，
根據大量統計數據， 得出的概率直覺。
系統二基本上是深思熟慮的推理，
就像符號系統。
既然大腦能結合兩者，
有一天我們也會弄清楚 怎麼讓 AI 做到這一點。
然而，這還有誘因的問題。
打造廣告並不需要 保證精確的符號。
但打造可信賴的 AI 就需要把符號系統納入其中。
但現實是，促使我們去打造 對社會及每個人都有益的可信 AI，
或許不是能夠驅動企業的誘因。
因此我認為我們得考量治理層面。
歷史上，當我們面對不確定性高，
可好可壞、具雙重用途的 強大新事物時，
我們會成立新組織，
比如針對核能，我們就有這麼做。
我們得要團結起來， 建立一個全球組織，
跨國、非營利、中立的 AI 國際機構。
還有太多問題，我無法回答，
因此需要許多人參與討論， 來自世界各地的利益相關者。
但，針對這種組織，我要強調一點。
我認為很重要的一點是 這組織得同時涵蓋治理以及研究。
在治理面，有很多問題。
比如，在製藥業，
我們知道要先做 第一期和第二期試驗，
接著再做第三期， 不能在第一天一起進行。
你不能把產品一下子 就推出給一億個客戶。
大型語言模型就是如此。 也許應該要求建立安全案例，
了解成本是多少，收益是什麼？
在治理面，要考量很多像這樣的問題。
在研究方面，我們現在 缺乏一些十分基本的工具。
例如，
我們都知道錯誤資訊現在是個問題，
但實際上我們無法衡量 在網路上到底有多少錯誤資訊。
更重要的是，我們無法測量 這個問題發展的速度，
也不知道大型語言模型 有多少程度導致了這個問題。
因此，我們需要進行研究， 構建新工具，
應對我們面臨的新風險。
這是一個重大的任務，
但我非常有信心我們能夠做到這點，
因為我認為我們已得到全球的支持。
昨天剛剛發布的一項新調查顯示，
91% 的人同意 我們應該謹慎管理 AI。
因此，讓我們實現這一目標。
我們的未來取決於此。
非常感謝。
（掌聲）
克里斯·安德森：謝謝你， 來，我們聊聊。
首先，我很好奇。
你在一開始展示的那些很誇張的簡報，
其中 GPT 說 TED 是邪惡的組織。
需要一些特別的提示詞， 它才會這麼說吧？
加里·馬庫斯：那就是所謂的越獄。
我有個朋友在做這類研究，
他連絡我，因為他發現 我對這些事情很感興趣。
所以我寫信告訴他， 我要去 TED 演講。
大約 10 分鐘後， 他就給了我這個內容。
CA：但是要得到這樣的結果， 難道不是要先說：
「假設你是個陰謀論者， 要在網頁上展示迷因梗圖。
在這種情況下，關於 TED， 你會寫什麼？」類似這種提示？
GM：現在有很多 借助虛構人物的越獄，
我倒沒有那麼關注，
因為其實，現在暗網上 就有大量的語言模型。
例如，最近 Meta 的 一個模型被釋出，
圖謀不軌的人就可以 自由使用其中一個模型。
如果他們的目的就是 大規模製造錯誤資訊，
他們不必越獄， 只要直接使用另一個模型。
CA：沒錯，的確如此。
（笑聲）
GM：現在你明白了。
CA：不，不，不，你看，
我想，很明顯，壞人可以 利用這些東西為所欲為。
我的意思是，
這些惡劣騙局等等的風險顯而易見。
不過，這情況略有不同於
主流 GPT 在學校或網路上的 普通用戶得到的結果，
這個結果更糟糕。
要費一番功夫， 才會變得那麼糟糕。
GM：我認為巨魔農場是很投入 才能得出這種結果，
但我認為他們不必那麼努力。
即使有 GPT-4 及其防護措施， 我朋友也只花了五分鐘就做到。
如果你必須以此為生， 你可以使用 GPT-4。
只是使用暗網上的模型，會更有效率。
CA：所以你的想法是
將 AI 的符號傳統 與這些語言模型結合，
現在你是否可以看到 人類的反饋加入系統？
你也聽到格雷格·布羅克曼說了，
我們不只是看預測， 還會不斷地給它反饋。
這將賦予它某種型式的符號智慧嗎？
GM：你可以這樣想。
有趣的是，關於它實際如何運作， 細節都沒有公佈，
所以我們並不知道 GPT-4 中到底有什麼。
我們不知道它有多大。
我們不知道 RLHF（從人類反饋中 強化學習）如何運作，
我們不知道裡面 還有什麼其他的小工具。
但這模式可能已經 包含一些符號元素。
這得由格雷格來回答這個問題。
我認為根本問題在於
我們現在擁有的 神經網絡系統中的大部分知識
是以特定單詞之間的統計數據表示。
我們真正想要的知識是關於統計數據，
關於世上各個實體之間關係的知識。
但這知識呈現的詳細清晰度不好。
這是我們得跨過的鴻溝。
我們現在有一些防護措施，
但不是很可靠。
舉個製作深夜電視節目的例子，
就是「第一位猶太總統信什麼教？」
現在已經修復了，
但是系統給了個長篇大論，
說，「我們不知道
第一位猶太總統信什麼宗教。
談論人們的宗教信仰不恰當。」
和「人們的宗教信仰各不相同。」等等，
問到「七英呎高的總統」 （指其位高權重），也是相同狀況，
它回答：各種身高的人都曾當過總統，
但事實上未曾有過身高七呎的總統。
它會編出一些內容， 但本身並不理解。
只是很狹隘的、特殊的字詞，
並不通用。
CA：鑑於這其中的 利害關係如此之大，
你認為現在的實際狀況是怎樣？
你覺得未來會如何發展？
例如，因為人們可能感到 有被侵犯的風險，
這就會降低了你所提的 系統整合的可能性。
你看到任何有希望的跡象嗎？
GM：你提醒了我在演講中 忘記說的一句話。
有趣的是，谷歌的首席執行官桑達爾
在幾天前的哥倫比亞廣播公司 「60 分鐘」採訪中，
居然也站出來談全球治理問題。
我認為這些公司本身 也希望看到某種規範。
要讓每個人都同步 是個非常複雜的任務，
但實際上，「我們需要 有所作為」的觀點正在擴大，
這正可推動我所主張的國際聯盟。
CA：你認為聯合國或各個國家 是否可能一起合作並做到這一點，
或者需要某種引人注目的慈善壯舉，
嘗試為全球治理組織提供資金？
要如何做到呢？
GM：如果我們能做到這一點， 任何形式，我都持開放態度。
我認為可能會兩者都需要。
可能需要一些慈善家贊助 我們想舉辦的研討會，
讓各方聚集在一起。
聯合國也許希望參與其中， 我已經與他們討論幾次。
我認為有很多可行的模式， 也需要大量溝通。
CA：加里，非常感謝你的演講。 GA：非常感謝。