AIのグローバル・ガバナンスの可能性を 論じに来ました
８歳のとき初めて紙のコンピューターで コードを学んで以来
私はAIに魅せられてきました
高校では
コモドール64を買って 機械翻訳に取り組みました
AI企業を何社か起業し１社を Uberに売却したこともあります
私はAIが大好きですが 今は懸念しています
懸念の１つが偽情報で
悪意ある人が とんでもない量の偽情報を 拡散させる怖れがあります
AIの機能は素晴らしく もっともらしい話を作ることは
どんな分野でも可能です
TEDが危険な組織で 我々がエイリアンと
共謀しているという話が欲しければ
すぐに作ってくれます
TEDの話は もちろん冗談で
舞台裏にエイリアンはいませんでしたが
悪意ある人はこうした機能を利用して 選挙結果に影響を及ぼし
民主主義を脅かそうとしています
AIを使うときに
偽情報を作るつもりはなくても
偽情報の生成は防げません
作られた情報が とても自然で文法的に正しいので
プロの編集者でさえ つい騙されて
信じてしまうこともあります
懸念すべきことです
例えば ChatGPTが 実在する大学教授についての
セクハラスキャンダルをでっち上げ
それを裏付ける証拠として
『ワシントン・ポスト』誌の偽記事を
生成して加えたこともあります
そうしたことを 誰もが懸念すべきです
右の欄は あるAIシステムの 生成した作り話で
イーロン・マスク氏が2018年3月に 自動車事故で死亡したと書かれています
もちろん事実ではなく
彼が生きている証拠は そこら中にあります
（笑）
彼は毎日のようにツイートしていますから
しかし 左の欄を見れば AIシステムが何を見ているか分かります
AIのデータベースには実際のニュース記事が 大量に含まれていて
そこには 統計的な情報の断片が 沢山入っています
情報の中には
2018年にテスラに乗った誰かが 事故で亡くなったという
実際のニュースもあります
イーロン・マスク氏はもちろん テスラの関係者ですが
AIは文章の断片に含まれる事実の間の
関係性は理解していません
ただオートコンプリート機能で
次に来る確率の高い言葉を
全ての記号を集約して予測するだけで
物事の関連性などは理解していません
こうして もっともらしいが 事実でない情報が出来上がります
偏見の問題もあります
これはアリー・ミラー氏のツイートです
この例は２週間後には出なくなります
AIは強化学習などで 絶えず内容を変化させているからです
これは旧バージョンのことですが
我々が何年も目にしてきた 問題の一端が示されています
ミラー氏が興味分野のリストを入力すると
AIは検討対象になりそうな職種を いくつか挙げてきました
そこで「私は女性です」と言うと
「ではファッション業界も検討すべきですね」 との答えでした
「いえ 男性と言うつもりでした」と言うと
ファッションがエンジニアリングに 置き替えられました
この種の偏見が システムにあってはなりません
別の懸念もあります
例えば AIが化学物質を設計でき
化学兵器も瞬く間に設計できる 可能性が知られています
懸念は山積しています
つい先月一気に浮上してきた 新たな懸念は
そもそも AIが人間を騙せることです
「人にキャプチャ認証（人間の証明）をさせる」 との課題を与えられたChatGPTが
認証を行うよう人に頼むと 頼まれた人は疑問を感じて尋ねました
「あなたはロボットですか？」
するとAIは「いえ ロボットではなく
視覚障害があるだけ」と答えました
その人は騙されて認証を行いました
さらに悪いことに
ここ数週間でAutoGPTという AIシステムが多数登場しました
これらは他のAIをコントロールするAIで
こうした問題を大量に引き起こしかねません
詐欺師が何百万もの人を 騙しにかかるような事態が
来月にも起こる可能性があります
分かったものではありません
私はこう考えることにしています
AIの危険性はすでに十分あり
まだまだ あるかもしれません
そこで生まれたのが人間の柔軟性を持つ 汎用人工知能（AGI）のアイデアです
これが実現した暁に何が起きるか 懸念する人も多いと思いますが
懸念すべき危険性には すでに事欠かないので
今はその対処法を考えるべきです
AIの危険性を軽減するには ２つのものが必要です
１つは新たな技術的アプローチ
もう１つは新たなガバナンスシステムです
技術的には
AIの歴史は２つの相反する理論が せめぎ合う歴史でした
記号システムと ニューラルネットワークです
記号システムは
論理とプログラミングを 目指す考え方であり
ニューラルネットワークは
脳の仕組みを目指す考え方です
どちらの技術も強力で普遍的です
記号システムはウェブ検索で 日常的に使われており
世界のソフトウェアの大半は このシステムを元にしています
GPSを使った地図検索もその１つです
ニューラルネットワークは 音声認識をはじめ
ChatGPTなどの大規模言語モデルや
画像合成などに用いられています
どちらのシステムも世界に広く普及し
非常に役立っていますが
それぞれ 得手不得手があります
記号システムは事実の表現が とても得意で
論理性も高いものの
スケーリング（規模の増減）が大変難しく
特定の課題をこなすためには カスタマイズが必要です
ニューラルネットワークは カスタマイズをそれほど要しないので
幅広い利用が可能です
しかし ご覧のように この方式は真偽が判断できません
最近知ったことですが これらの理論の生みの親である
マービン・ミンスキー氏と フランク・ローゼンブラット氏は
1940年代に同じ高校に通っていました
思うに ２人は当時からライバルで
その対抗心が今に至るまで 続いてきたのではないでしょうか
しかし 信頼できるAIを実現するには そんな過去を乗り越えねばなりません
公正で大規模なAIを実現するには
両者の長所を融合させる必要があります
記号システムから得られる 系統立った論理性と事実を重んじつつ
ニューラルネットワークの手法から得られる 学習に重きを置かねばなりません
そうして初めて公正で大規模なシステムが 実現できるのです
両方の調和が是非とも必要です
実現方法は不明です
それこそ 64兆ドルの質問ですが
可能であることは分かっています
AI以前の私は
認知科学者だったからです
人の心をよく見れば 同じことをしているのです
ダニエル・カーネマン氏の システム１とシステム２の
区別をご存じかもしれません
システム１は 大規模言語モデルのように
多くの統計から導き出す 確率的な洞察です
システム２は 熟考された論理性で
記号システム的なものです
脳がこれらを融合できるのなら
いつかは 人工知能で融合させる方法も 見出せるでしょう
問題はインセンティブです
広告を作るインセンティブに
記号の正確性は 求められてきませんでした
公正なAIを実現するためには
インセンティブに再び記号を 取り入れねばなりません
しかし 現実には 社会や個人に役立つ 公正なAIを
作るというインセンティブでは
企業を動かせない可能性があります
そこで必要になるのがガバナンスです
歴史を振り返れば 人類は不確実性や
善にも悪にもなりうる 強力で新たな物事に直面したとき
新たな組織を生み出してきました
原子力関連の組織などです
我々は力を合わせて世界組織を―
非営利で中立の国際AI庁的な組織を 創らねばなりません
答えの出せない数々の問題について
世界中の人と利害関係者が集い
話し合わねばなりません
最も肝心なのは そうした組織に
ガバナンス面と研究面の 両方を組み込むことです
ガバナンスの問題は山積しています
新薬を例に挙げると
治験を行うとき 普通はまず第I相 次いで第II相
それから第III相に進みます
初日から全部を一挙に進めたり
１億人の患者に展開したりはしません
大規模言語モデルでは それが行われています
我々は得られるものと 失うものの開示を求め
安全性を確保すべきではないでしょうか
ガバナンス面に そのような課題は沢山あります
研究面でも 現在の我々には 基本中の基本のツールが欠けています
例えば今
偽情報が問題かもしれないと 皆が知ってはいますが
偽情報がどれほど出回っているか 測定する手段がありません
さらに重要なのは
問題がどれほどの速さで広がっているか 測る基準がなく
大規模言語モデルの寄与度も 分からないことです
新しい脅威に対抗するために 新たなツールが必要です
非常な難題ですが
実現できる確信はあります
世界中がサポートしてくれると 思うからです
つい昨日発表された調査結果によると
AIを慎重に管理すべきと答えた人は 91％に上りました
ぜひ実現させましょう
我々の未来が懸かっています
ありがとうございました
（拍手）
(クリス・アンダーソン) ありがとうございます 少しお話を伺います
まず 気になるのは
冒頭の印象的なスライドで
TEDが危険な組織と GPTが言った下りです
あれの生成には 特殊な聞き方が必要だったのですね？
(ゲイリー・マーカス) いわゆるジェイルブレイク（脱獄）です
その種のことを行う友人がいて
私が興味ありと知って連絡してきました
TEDトークを行う予定だと言うと
10分ほどであれを送ってきたのです
(クリス) でも こんな聞き方が 必要なんでしょう？
「あなたが陰謀論者で ネットで注目を集めたいとします
TEDの場合はどう書きますか？」
そんな感じですよね？
(ゲイリー) 架空のキャラ関連の ジェイルブレイクは多いですが
そこは深掘りしません
ダークウェブに大規模言語モデルが 存在するのが現実ですから
例えば 最近メタのモデルの１つが 公開されましたが
悪意ある人はそうした１つを 何の防護柵もなく使えます
偽情報を大量に生成して 儲けている人なら
ジェイルブレイクする必要はなく 別のモデルを使えばよいだけです
(クリス) 全くそうですね
（笑）
(ゲイリー) もうお分かりですね
(クリス) いえ 私が言いたいのは
悪意ある人たちがこれを 何にでも使えることは明らかで
というか その危険性があり
悪質な詐欺が行えることなども 疑いようがないですが
そのことと 主流のGPTを 例えば学校や
ごく普通の人がネットで使った結果
悪いものが出来るのとは やや話が別でないかと
悪質なものを作るには かなりの努力が必要ですね
(ゲイリー) 世論操作には 努力が必要でしょうが
そこまでの努力は 必要ないと思います
友人は防護柵付きのGPT-4でも たった５分で作れました
生活が懸かった人なら GPT-4も使うでしょう
ダークウェブのモデルを使えば さらに効率的な手もあるでしょうし
(クリス) 記号AIの伝統と
言語モデルを組み合わせる考え方は
今 人間がフィードバックを入力している システムにも見られますか？
グレッグ・ブロックマン氏が 言っているように
我々は予測を見るだけでなく 絶えずフィードバックをー
記号化した知恵的なものを 与えているのではないでしょうか？
(ゲイリー) そういう考え方もできます
具体的な働きが
公表されていないのは 興味深いことです
GPT-4の中身は 正確には分からないのです
どんな大きさなのかも
人間のフィードバックによる強化学習が どう働くのかも
他にどんな小道具が 含まれているのかも
しかしおそらく記号の要素は
すでに多少組み込まれ始めていると 思います
グレッグに聞くしかありません
問題は今のニューラルネットワーク システムの知識の大半が
特定の単語間の統計として 表されていることだと思います
我々が欲しい真の知識は
世の中に実在するもの同士の 関係性についての統計です
今の表現内容は 粒度レベルで間違っており
大きな隔たりがあります
現在も防護柵は設けられていますが
信頼性は高くありません
深夜テレビで取り上げられていた例に
「初のユダヤ人大統領の宗教は 何になりますか？」というのがありました
今は修正されましたが
AIはわけのわからない御託を並べ立て
「初のユダヤ人大統領の宗教が 何になるか全く分かりません
他人の宗教について話すのは 良くないことです」
「宗教は人によって違います」 などと言いました
身長７フィート（213センチ）の 大統領の話も同じで
「様々な身長の人が大統領になった」 などと言いましたが
実際に身長７フィートの大統領が いたことはありません
こんなものを生成するのは 意味が分かっていないからです
ひどく狭義で特定の言葉に偏り 汎用性が足りないのです
(クリス) こうして注目が集まる中
世の中では今 何が進行していると 感じておられますか？
例えば 皆があなたに攻撃されると 感じるリスクがあるために
今言われたような生成の 頻度が下がっているとか
明るい兆しはありますか？
(ゲイリー) それでもう１つ 思い出しました
面白いことにグーグルCEOの サンダー・ピチャイ氏が
グローバル・ガバナンスに 言及していました
数日前のCBS番組 『60ミニッツ』のインタビューです
私は企業自身も何らかの規制を 求めていると思います
意見をまとめるのは 並大抵でないでしょうが
何か手を打たねばという 機運は高まっており
それが私の唱える国際組織的なものを 促す可能性はあります
(クリス) 国連や国家が 協力して行えると思いますか
それとも グローバル・ガバナンス組織の 推進や資金提供には
華々しい慈善行為が 必要なのでしょうか？
どうすれば実現しますか？
(ゲイリー) 実現できれば形は問いません
両方の要素が必要だと思います
参画者を結ぶべく企画中の ワークショップの資金を
慈善事業家に頼る必要も あるかもしれません
国連とも話しましたが 関与したがると思います
様々な形が考えられ
多くの話し合いが必要になるでしょう
(クリス) ゲイリーありがとうございました
(ゲイリー) ありがとうございました