私はコンピュータ・プログラマー としての最初の仕事を
大学１年生で始めました
まあ 10代だったんですね
ある会社で ソフトウェアを
書くという仕事を 始めてまもなく
会社のマネージャーが 私のところに来て
こうささやきました
「僕の嘘 彼にばれてる？」
部屋には他に誰もいません
「誰にばれてるって言うんです？ それにどうしてひそひそ声で？」
マネージャーは 室内のコンピュータを指さして
「僕の嘘 彼にばれてる？」
実はこのマネージャー 受付係と浮気してたんです
（笑）
私はまだ10代でした
だからささやき声で 彼に叫び返しました
「ええ コンピュータには お見通しですよ」って
（笑）
笑っちゃいましたが 実は その笑いは自分に返ってきました
今日 コンピュータ・システムは
人間の顔画像を処理することによって
感情や 嘘まで見抜けるんです
広告主や 政府までもが 非常に関心を寄せています
コンピュータプログラマーに 私がなったのは
子どもの頃から数学と科学が 熱狂的に好きだったからです
しかしその過程で 核兵器についても学び
科学の倫理について 非常に懸念するようになりました
悩みました
しかし 家庭の事情で
私はできるだけ早く 働き始めなければなりませんでした
それでひそかに考えました 技術者として
簡単に職が得られて
倫理という厄介な問題を何も 考えなくていい分野の仕事はないかと
それで選んだのがコンピュータです
（笑）
ハハ 笑っちゃう 自分のことを笑ってるんです
近頃 コンピュータ科学者は
10億人が毎日見ているものを制御する プラットフォームを作っています
誰をひき殺すか決定できる 車を開発しています
戦争で人間を殺すかもしれないような
機械や兵器さえも作っています
全てにおいて重要になるのが倫理です
機械知能は もう存在しています
私たちは今や コンピュータを使って あらゆる種類の決定を下し
さらに新しい類の決定も下します
私たちは 単一の正答がない問題の答えを コンピュータに尋ねています
その問題とは 主観的で
オープンエンドで 価値観にかかわるものです
私たちがする質問はこんなふうです
「誰を社員に採用すべきか？」
「どの友達からの新着情報を 表示すべきか？」
「再犯する可能性の高い受刑者は誰か？」
「人々に勧めるべき ニュースや映画はどれか？」
確かに私たちは しばらくの間 コンピュータを使ってきました
しかしこれは違います
これは歴史的なひずみです
なぜならそのような主観的な決定を コンピュータには頼れないからです
飛行機を飛ばしたり 建物を建てたり
月に行く場合とは違うんです
飛行機の方が安全か？ その橋は揺れたり落ちたりしたか？
そこでは合意された かなり明確な基準があり
自然の法則が私たちを導いてくれます
私たちがそのような 支えや基準を何も持っていないのが
人間くさい事柄における 厄介な決定についてです
もっと複雑なことに ソフトウェアは強力になりつつあります
その一方で 透明性を減らし 複雑さを増してもいるのです
ここ10年のあいだ
複雑なアルゴリズムは 大きく前進しました
人間の顔を認識できます
手書き文字を読み取れます
クレジットカードの不正使用を探知し
スパムをブロックし
言語の翻訳もできます
医用イメージングで 腫瘍を探しあてることもできます
チェスや碁で人間を 打ち負かすこともできます
この進歩の多くは 「機械学習」と 呼ばれる方法から成り立っています
機械学習は コンピュータに 詳細で正確、綿密な指示を与える―
伝統的なプログラミングとは異なります
機械学習は システムに 大量のデータを しこたま詰め込むやり方です
そこには非構造化データという
人間がデジタルライフで 生成する類のものも含まれます
そしてシステムはこのデータを 組み合わせながら学習します
そしてまた重要なことに
これらのシステムは 答が単一になる論理で動いてはいません
単純に回答を与えるのではなく もっと確率論的です
「これはおそらくあなたが 探しているものにより近いでしょう」
これの良い面は この方法が非常に強力であることです
GoogleのAIシステムのトップはこれを
「データの理不尽なほどの強力さ」 と呼んでいます
このシステムの悪い面は
これが何を学習しているのか 私たちはそれほど理解していないことです
実際 その強力さが問題なのです
これはコンピュータに 指示を与えるというよりは
むしろ子犬のような生き物として 訓練するようなものです
その機械をそれほど 理解も制御もできていないのにです
これは問題です
この人工知能システムが 誤りを犯したときだけでなく
正しいことをした場合にも 問題が生じます
なぜなら主観的な問題の場合 私たちには正誤さえも分からないからです
私たちはこの物体が 何を考えているか知りません
ですから たとえば雇用アルゴリズムを 考えてみましょう
社員を雇う際に使われるシステムで 機械学習システムを使っています
そのようなシステムは過去の従業員の データに基づいて訓練されています
そしてそのシステムが指示するのは
その会社に在籍する業績優秀者に似た 人材を探し雇うことです
良さそうですね
以前ある会議に 出席した折のことですが
そこには人事部のマネージャーと 執行役が集まっていました
高い職位の人たちで
そのようなシステムを 雇用に活用しています
彼らは非常にワクワクしていました
彼らの考えでは このシステムは より客観的で偏見の少ない雇用を行い
マネージャーの偏見に対して 女性や少数派の人々に
より良い機会を与えるものでした
そうです 雇用には偏見が混じるのです
私は知っています
ある職場で プログラマーとして 働きだした頃
直属のマネージャーが 時々私のところに来ました
それも早朝とか夕方にです
そして彼女はこう言うんです 「ゼイナップ ランチ行きましょ」
おかしなタイミングで 全く訳が分かりませんでした
午後４時にランチ？
私はお金がなかったので おごりでした いつも行きました
後で何が起こっていたのか悟りました
直属のマネージャーは上層部に
重要な仕事のために雇ったのが
ジーンズとスニーカーで仕事をする 10代女子だと言ってなかったんです
私は良い仕事ぶりだったのに 体裁が悪くて
年齢や性別の点でも 良くなかったんです
ですから性別や人種に 惑わされない形での雇用は
非常に良いことだと 私には思えます
でもこのシステムを用いると 事態はより複雑になります なぜなら
現在コンピュータシステムは あなたに関するあらゆる類のことを
デジタル情報の断片から 推測できるからです
自分が開示していなくてもです
システムはあなたの性的志向や
性格特徴や
政治的傾向を推測できます
システムは高水準の正確さで 予測する力を持っています
思い出してください 開示さえしていない事柄をですよ
これが推測です
ある友達は そのようなコンピュータシステムを
病的な あるいは産後の 抑うつの可能性を 予測するために開発しています
SNSのデータを用いるんです
結果は素晴らしいです
彼女のシステムは うつ罹患の可能性を
症状が現れる数か月前に 予測できるのです
数か月も前ですよ
症状が全くない段階での予測です
彼女はこれを早期介入のために 活用したがっています 素晴らしい！
でもこれを雇用の文脈で 考えてみましょう
例の 人事マネージャーの会議では
私はある非常に大きな企業の 高職位のマネージャーに近づき
こう言いました 「まだご存じないこととは思いますが
もしそのシステムが 将来うつになる可能性が 高い人を排除しているとしたらどうでしょう？
今ではなく 将来そうなる可能性が高い人です
妊娠する可能性の 高い女性を排除しているとしたら？
来年か再来年のことで 今は妊娠していない場合ですよ？
もし職場の文化に合っているからと 攻撃的な人が雇われたらどうします？」
性別の構成からは そのことを読み取れません
構成比はバランスが取れています
これは機械学習で 伝統的なプログラムではないので
たとえば「うつハイリスク」とか 「妊娠ハイリスク」
「攻撃的な人物度」
などの変数は登場しません
システムが何に基づいて選択しているのか 分からないばかりか
どうすれば分かるのかの 手がかりもありません
ブラックボックスなんです
システムには予測力がありますが 人間には理解できない代物です
「どんな安全対策をしていますか？
あなたのブラックボックスが やましいことをしないようにです」
彼女は子犬の尻尾を10匹分も踏みつけた 人でなしを見るかのような顔になりました
（笑）
彼女は私をじっと見て言いました
「これについては もう何も聞きたくない」
そして彼女は踵を返して 行ってしまいました
彼女が失礼なわけではありません
明らかに 聞かなかったことにしたい あっち行ってという憎悪の眼差しでした
（笑）
いいですか そのようなシステムは ある意味 偏見の程度は
人間のマネージャーよりは 少ないかもしれません
費用の面でも 理にかなっているでしょう
でもそれはまた
ひそやかながら確実に 労働市場からの
うつハイリスク者の締め出しに つながりかねません
これが私たちの築きたい 社会の姿でしょうか？
こんなことをしていることさえ 私たちは知らないんです
完全には理解していない機械に 意思決定をさせているんですからね
もう１つの問題はこれです
このようなシステムの訓練は往々にして 人間の行動データに基づいています
人間らしさが刻み込まれています
それらは私たちの偏見を 反映している可能性があり
これらのシステムは 私たちの偏見を拾い上げ
それを増幅して
私たちに示し返しかねません
私たちはこんな言いっぷりなのにですよ
「私たちはまさしく客観的です 中立的なコンピューティングですから」
研究者たちは Googleにおいて
女性には 高給の求人広告が 表示されにくいことを見出しました
また アフリカ系アメリカ人の 名前を検索すると
犯罪歴をほのめかす広告が 高確率で表示されます
犯罪歴がない人の場合でもそうです
そのような隠れた偏見と ブラックボックスのアルゴリズムを
研究者が暴くこともありますが 知られない場合もあります
それらは人生を 変える結果になりうるのです
ウィスコンシンで ある被告が 刑期６年の判決を受けました
警察官から逃げたためです
ご存知ないかもしれませんが
仮釈放や判決の決定においても アルゴリズムの使用が増えています
彼はこのスコアが計算される仕組みを 知りたいと思いました
それは商用のブラックボックスです
企業はアルゴリズムが 公開の法廷で検証されるのを拒みました
でもProPublicaという非営利の調査団体が そのアルゴリズムを監査しました
入手可能だった 公開データを用いてです
そして分かったのは 結果には偏見が影響しており
予測力はひどいものでした 偶然よりわずかにましな程度です
黒人の被告は 白人の被告に比べて 将来犯罪を起こす確率が
２倍高いと 誤ってラベリングされていました
ではこのケースを考えてみましょう
女性のほうは予定より遅れて 親友を迎えに行くため
フロリダ州ブロワード郡の ある学校に向かって
友達と一緒に道を走っていました
ふたりはある家の玄関で 無施錠の 子ども用の自転車とキックスケーターを見つけ
愚かにもそれに飛び乗りました
走り去ろうとしたところ 女性が出てきて言いました
「ちょっと！ それはうちの子の自転車よ！」
ふたりは降りて 歩き去りましたが 逮捕されました
彼女は間違っていたし愚かでした でもまだ18歳です
彼女は２回の非行歴がありました
一方 男性のほうは Home Depoで 万引きをして捕まりました
彼が万引きしたのは85ドル相当で 同じく軽犯罪ですが
彼は強盗で前科２犯でした
でもアルゴリズムは 男性ではなく 女性の方をハイリスクと評価しました
その女性が２年後に再犯していないことを ProPiblicaは明らかにしています
犯罪記録をもつ彼女が 職を得るのは実に困難でした
一方 男性の方は再犯し
２つ目の犯罪のために 現在は８年間の収監中です
ブラックボックスに対して 監査が必要なのは明白です
チェックしないままこの種の権力を 与えてはいけないのです
（拍手）
監査は偉大で重要ですが それで全ての問題を解決できはしません
Facebookのニュース・フィードの 強力なアルゴリズムの場合
全てをランク付けし 全ての友達やフォロー中のページのなかで
何を見るべきか決定する仕組みですね
赤ちゃんの写真をもう１枚見るべきか？
（笑）
知り合いからの ご機嫌斜めのコメントは？
重要だけど難解なニュース記事は？
正答はありません
Facebookはサイト上での やりとりに応じて最適化します
「いいね」やシェア コメント といったものです
2014年8月
ミズーリ州ファーガソンで 抗議運動が勃発しました
アフリカ系アメリカ人の10代が 白人の警察官に殺され
その状況が不審だったのです
抗議運動のニュースは
フィルタリングされない Twitterフィードを埋め尽くしました
でもFacebookには何ら 表示されませんでした
Facebook上の友達との 関連でしょうか？
私はFacebookのアルゴリズムを 無効にしました
Facebookはアルゴリズムの 管理下に置きたがるので
難しかったですけどね
すると友達が 抗議運動のことを 話しているのが分かりました
アルゴリズムが私に 見せなかっただけなんです
調査して分かりましたが これは広範囲にわたる問題でした
ファーガソンの話題は アルゴリズムに馴染まなかったんです
「いいね」しにくいのです
誰が「いいね」します？
コメントをするのさえ 容易じゃありません
「いいね」もコメントもないので
アルゴリズムは少数の人にしか それを表示しません
だから目にすることがなかったんです
そのかわり その週
Facebookのアルゴリズムが ハイライトしたのは
ALSアイス・バケツ・チャレンジでした
価値のある目的で氷水をかぶり チャリティに寄付 良いですね
でも極めてよく アルゴリズムに馴染みます
機械が私たちのために これを決定したんです
非常に重要だけれど難解な会話は
Facebookが唯一の経路の場合
抑え込まれてきたのかもしれません
さて最後にこれらのシステムは
人間のシステムとは似つかない誤りを 犯しうるのです
皆さんはワトソンを覚えていますか IBMの機械知能システムで
クイズ番組『ジェパディ！』で 対戦相手の人間を打ち負かしました
すごい選手だったんです
しかし最終問題で ワトソンは こんな質問をされました
「その地域最大の空港の名は 第二次世界大戦の英雄に由来し
２番目の空港の名の由来は 第二次世界大戦中の戦いです」
（最終問題の音楽をハミング）
「シカゴ」
人間ふたりは正答でした
一方ワトソンの答えは 「トロント」
米国の都市についての 問題だったのに！
この素晴らしいシステムも エラーをするんです
人間はしないようなエラーです ２年生の子どもでもしません
機械知能は失敗を犯すこともあるんです
人間のエラーパターンとは 異なります
予想外であり 備えもできないような方法です
資質のある人が仕事を得られないのも ひどい話ですが
もしそれがプログラムのサブルーチンに伴う スタックオーバーフローが原因なら
３倍ひどい話です
（笑）
2010年5月
ウォールストリートの 「売り」アルゴリズムでの
フィードバックループによって 瞬間暴落が起き
36分間で１兆ドル相当の 損失が出ました
「エラー」の意味を 考えたくもないのが
無人攻撃機の場合です
ええ人間には 偏見がつきものです
意思決定者やゲートキーパー
法廷、ニュース、戦争・・・
そこではミスが生じますが これこそ私の言いたいことです
これらの難問から 私たちは逃れられません
私たちは責任を 機械に外部委託することはできないのです
（拍手）
人工知能は「倫理問題からの解放」カードを 私たちにくれたりしません
データ科学者のフレッド・ベネンソンは これを数学による洗脳だと呼びました
私たちに必要なのは逆のものです
私たちはアルゴリズムを疑い 精査するようにならねばなりません
私たちは アルゴリズムについての 説明責任を持ち
監査や意味のある透明化を 求めなければなりません
私たちは厄介で価値観にかかわる 人間くさい事柄に対して
数学や計算機は 客観性をもたらしえないことを
受け入れなければなりません
むしろ人間くささのもつ複雑さが アルゴリズムを管理するのです
確かに私たちは コンピュータを 良い決断を下す助けとして
使いうるし そうすべきです
でも私たちは判断を下すことへの 自分の道徳的な責任を認め
そしてアルゴリズムを その枠内で用いなければなりません
自分の責任を放棄して 別の人間へ委ねることとは
異なるのです
機械知能はもう存在しています
つまり私たちは 人間としての価値観や倫理感を
よりしっかり持たねばなりません
ありがとうございました
（拍手）