התחלתי את עבודתי הראשונה כמתכנתת מחשבים
בשנתי הראשונה בקולג' -
כשהייתי נערה מתבגרת.
זמן קצר לאחר שהתחלתי לעבוד,
לכתוב תוכנות בחברה,
מנהל שעבד בחברה נכנס לחדר בו הייתי,
ולחש אליי,
"האם הוא יכול לדעת אם אני משקר?"
לא היה אף אחד נוסף בחדר.
"מי יכול לדעת אם אתה משקר? ולמה אנחנו לוחשים?"
המנהל הצביע על המחשב בחדר.
"האם הוא יכול לדעת אם אני משקר?"
טוב, המנהל הזה ניהל רומן עם פקידת הקבלה.
(צחוק)
ואני הייתי עדיין נערה מתבגרת.
אז לחשתי-צעקתי אליו בחזרה,
"כן, המחשב יכול לדעת אם אתה משקר."
(צחוק)
טוב, צחקתי, אבל בעצם, הבדיחה היא על חשבוני.
בימינו, קיימות מערכות ממוחשבות
שיכולות לקלוט מצבים רגשיים ואפילו שקר
באמצעות עיבוד פרצופים אנושיים.
מפרסמים ואפילו ממשלות מאד מתעניינות בזה.
אני נהייתי מתכנתת מחשבים
כי הייתי מהילדים האלה שמשוגעים על מתמטיקה ומדעים.
אבל איפשהו במהלך הדרך למדתי על נשק גרעיני,
והתחלתי להיות מאוד מודאגת בעניין האתיקה של המדע.
הייתי מוטרדת.
עם זאת, בגלל נסיבות משפחתיות,
נאלצתי להתחיל לעבוד מוקדם ככל האפשר.
אז חשבתי לעצמי, אני אבחר בתחום טכני
בו אמצא עבודה בקלות
ולא אצטרך להתעסק בשאלות אתיות מטרידות.
אז בחרתי במחשבים.
(צחוק)
טוב, חה, חה, חה! כל הצחוק הוא על חשבוני.
בימינו, מדעני מחשבים בונים פלטפורמות
אשר שולטות במה שמיליארד אנשים יצפו בכל יום.
הם מפתחים מכוניות שיכולות להחליט את מי לדרוס.
הם אפילו בונים מכונות, כלי נשק,
שיכולים להרוג בני אדם במלחמה.
מדובר באתיקה לאורך כל הדרך.
הבינה המלאכותית כבר כאן.
אנו משתמשים כעת במחשוב כדי לקבל כל מיני החלטות.
אבל גם החלטות מסוגים חדשים.
אנחנו שואלים את המחשוב שאלות שיש להן יותר מתשובה נכונה אחת,
שהן סוביקטיביות
שאלות פתוחות ובעלות מטען ערכי.
אנו שואלים שאלות כמו,
"את מי צריכה החברה להעסיק?"
"איזה עדכון מאיזה חבר אנחנו צריכים להראות?"
"מיהו האסיר שסביר יותר שיפשע שוב?"
"על איזה אייטם חדשותי או סרט כדאי להמליץ לאנשים?"
תראו, כן, אנחנו משתמשים במחשבים כבר זמן רב,
אבל זה שונה.
זהו טוויסט היסטורי,
כיוון שאנחנו לא יכולים להיעזר במחשוב בשאלות סובייקטיביות כאלו
כפי שאנו נעזרים במחשוב להטסת מטוסים, לבניית גשרים,
להגיע לירח.
האם מטוסים בטוחים יותר? האם הגשר התנדנד ונפל?
בדברים האלו הסכמנו על אמות מידה ברורות למדי,
ויש לנו את חוקי הטבע שמדריכים אותנו.
אין לנו עוגנים ואמות מידה כאלו
עבור החלטות בעניינים אנושיים מסובכים.
כדי לסבך את העניין עוד יותר, התוכנה שלנו הולכת ונעשית חזקה יותר,
אבל היא גם נעשית פחות שקופה ויותר מורכבת.
לאחרונה, בעשור החולף,
אלגוריתמים מורכבים התקדמו מאד.
הם יכולים לזהות פרצופים אנושיים.
הם יכולים לפענח כתב יד.
הם יכולים לזהות הונאת כרטיסי אשראי
ולחסום דואר זבל
והם יכולים לתרגם משפה לשפה.
הם יכולים לזהות גידולים בהדמיה רפואית.
הם יכולים לנצח בני אדם במשחקי שח-מט וגו.
הרבה מההתקדמות הזו היא הודות לשיטה שנקראת "לימוד מכונה".
לימוד מכונה הוא שונה מתכנות מסורתי,
בו נותנים למחשב הוראות מפורטות, מדויקות, מדוקדקות.
זה יותר כמו שמכניסים למערכת הרבה נתונים,
כולל נתונים לא מובנים,
כמו אלה שאנו מייצרים בחיינו הדיגיטליים.
והמערכת לומדת, על-ידי ערבול כל הנתונים הללו.
כמו כן, באופן מכריע,
המערכות הללו לא פועלות על פי ההיגיון של תשובה-אחת.
הן לא מייצרות תשובה פשוטה; זה יותר הסתברותי:
"זו כנראה יותר מתאימה למה שאתה מחפש."
היתרון הוא: השיטה הזו ממש חזקה.
המנהל של מערכת AI של גוגל קרא לזה,
"היעילות חסרת ההיגיון של נתונים."
החיסרון הוא,
שאנחנו לא באמת מבינים מה המערכת למדה.
בעצם, זה הכוח שלה.
זה פחות כמו לתת הוראות למחשב;
זה יותר כמו לאמן יצור שהוא גור-מכונה
שאנחנו לא באמת מבינים ושולטים בו.
אז זו הבעיה שלנו.
זו בעיה כאשר הבינה המלאכותית הזו טועה.
זו גם בעיה כאשר היא אינה טועה,
מכיוון שאנו לא יודעים מהו מה כאשר הבעיה היא סוביקטיבית.
איננו יודעים מה הדבר הזה חושב.
אז, חישבו על אלגוריתם של העסקת עובדים -
מערכת שרגילה להעסיק אנשים, משתמשת במערכות לימוד-מכונה.
מערכת כזו הייתה מאומנת על נתוני העסקה קודמים
וניתנת לה הנחייה למצוא ולהעסיק
אנשים בעלי ביצועים טובים כמו אלה שכבר נמצאים בחברה.
נשמע טוב.
פעם השתתפתי בכנס
אשר חיבר יחד מנהלי משאבי אנוש,
אנשים ברמה גבוהה,
המשתמשים במערכות כאלה להעסקת עובדים.
הם מאד התלהבו.
הם חשבו שזה יהפוך את תהליך ההעסקה לאובייקטיבי יותר, פחות מוטה,
ויעניק לנשים ומיעוטים סיכוי גבוה יותר
כנגד מנהלים אנושיים משוחדים.
ותראו - העסקה על-ידי בני-אדם היא משוחדת.
אני יודעת.
באחד ממקומות העבודה המוקדמים שלי כמתכנתת,
המנהלת הישירה שלי הייתה באה לפעמים למקום בו הייתי
ממש מוקדם בבוקר או ממש מאוחר אחר הצהריים,
ואמרה לי, "זיינב, בואי נלך לאכול ארוחת צהרים!"
הייתי מבולבלת מהתזמון המוזר.
עכשיו 4 אחר הצהריים. ארוחת צהריים?
הייתי מרוששת, אז ארוחת חינם. תמיד הלכתי.
מאוחר יותר הבנתי מה קרה.
מנהליי הישירים לא הודו בפני הממונים עליהם
שהמתכנתת שהם העסיקו בתפקיד רציני היא נערה מתבגרת
שבאה לעבודה בג'ינס וסניקרס.
עשיתי עבודה טובה, רק לא נראיתי נכון
והייתי בגיל ובמגדר הלא נכונים.
אז העסקת עובדים באופן עיוור למגדר וגזע
בהחלט נשמע לי טוב.
אבל עם המערכות האלו, זה יותר מורכב, וזו הסיבה:
כעת, מערכות ממוחשבות יכולות להסיק כל מיני דברים עליכם
מהפירורים הדיגיטליים שלכם,
אפילו אם לא גילית את הדברים האלה.
הם יכולות להסיק לגבי האוריינטציה המינית שלכם,
תכונות האופי שלכם,
הנטייה הפוליטית שלכם.
יש להן יכולת ניבוי עם רמות דיוק גבוהות.
זכרו - אפילו לגבי דברים שלא גיליתם.
זוהי הסקה.
יש לי חברה שפיתחה מערכות ממוחשבות שיכולות
לנבא את הסיכון לדיכאון קליני או דיכאון אחרי לידה
מנתונים של מדיה חברתית.
התוצאות הן מרשימות.
המערכת שלה יכולה לנבא את הסיכון ללקות בדיכאון
חודשים לפני הופעת סימפטומים כלשהם -
חודשים לפני.
אין סימפטומים, יש ניבוי.
היא מקווה שישתמשו בזה להתערבות מוקדמת. נהדר!
אבל עכשיו שימו את זה בהקשר של העסקה.
אז בכנס הזה של מנהלי משאבי אנוש,
פניתי אל מנהלת בכירה בחברה גדולה מאד,
ואמרתי לה, "תראי, מה אם, ללא ידיעתך,
"המערכת שלך מנפה החוצה אנשים עם סיכון עתידי גבוה ללקות בדיכאון?
"הם לא מדוכאים כעת, רק אולי בעתיד, בסיכון גבוה יותר.
"מה אם היא מנפה החוצה נשים שסיכוייהן גדולים יותר להרות
"בשנה או שנתיים הקרובות אך אינן בהריון כעת?
"מה אם המערכת מעסיקה אנשים אגרסיביים מכיוון שזו התרבות בסביבת העבודה שלך?"
אתם לא יכולים לדעת את זה על-ידי חלוקה למגדרים.
אלו יכולים להיות מאוזנים.
ומאחר וזאת למידת מכונה, לא שיטת קידוד מסורתית,
אין שם משתנה שמוגדר "סיכון מוגבר לדיכאון",
"סיכון מוגבר להריון,"
"סולם של אגרסיביות".
לא רק שאינכם יודעים לפי מה המערכת שלכם בוחרת,
אתם אפילו לא יודעים איפה להתחיל לחפש.
זוהי קופסה שחורה.
יש לה יכולת ניבוי, אבל אתם לא מבינים אותה.
"אילו אמצעי ביטחון," שאלתי, "יש לך
"להבטיח שהקופסה השחורה שלך לא עושה משהו מפוקפק?"
היא הסתכלה עלי כאילו שדרכתי על 10 זנבות של כלבלבים.
(צחוק)
היא נעצה בי מבט ואמרה,
"אני לא רוצה לשמוע מילה נוספת על זה."
והיא הסתובבה והלכה משם.
שימו לב - היא לא הייתה גסת רוח.
זה היה בבירור: מה שאני לא יודעת הוא לא הבעיה שלי, לכי מכאן, מבט מקפיא.
(צחוק)
תראו, מערכת כזו יכולה אפילו להיות פחות מוטה
מאשר מנהלים אנושיים באופנים מסוימים.
והיא יכולה להיות הגיונית מבחינה כלכלית.
אבל היא גם יכולה להוביל
לסגירה מתמשכת וחמקנית של שוק העבודה
בפני אנשים עם סיכון גבוה ללקות בדיכאון.
האם זו החברה שאנחנו רוצים לבנות,
מבלי שנדע אפילו שאנחנו עושים זאת,
בגלל שהשארנו את קבלת ההחלטות בידי מכונות שאנחנו לא מבינים עד הסוף?
בעיה נוספת היא זו:
המערכות האלו לעיתים קרובות מכוונות לנתונים המיוצרים על ידי הפעולות שלנו,
חותם אנושי.
אם כך, הן יכולות פשוט לשקף את ההעדפות שלנו.
והמערכות האלו יכולות להיטפל להעדפות שלנו
ולהגביר אותן
ולשקף לנו אותן בחזרה,
בזמן שאנחנו אומרים לעצמנו,
"אנחנו עוסקים במחשוב אובייקטיבי וניטרלי."
חוקרים מצאו שבגוגל,
לנשים יש סיכוי נמוך יותר מאשר לגברים לקבל מודעות דרושים לתפקידים עם שכר גבוה.
וחיפוש של שמות אפריקנים-אמריקנים
יעלה בסיכוי גבוה יותר פרסומות המרמזות על עבר פלילי,
אפילו כאשר אין כזה.
להטיות חבויות כאלה ואלגוריתמים של קופסא שחורה
שחוקרים מגלים לפעמים אבל לפעמים איננו יודעים עליהם,
יכולות להיות השלכות משנות חיים.
בוויסקונסין, נאשם נשפט לשש שנים בכלא
על התחמקות מהמשטרה.
יכול להיות שאתם לא יודעים זאת,
אך השימוש באלגוריתמים הולך וגובר בהחלטות על ענישה וחנינה.
הוא רצה לדעת: איך המספר הזה חושב?
זו היא קופסה שחורה מסחרית.
החברה סירבה לאפשר לאתגר את האלגוריתם שלה באולם בית המשפט
אבל פרו-פבליקה, חברת חקירות ללא מטרות רווח, בדקה את האלגוריתם הזה
עם כל הנתונים הציבוריים שיכלו למצוא,
וגילו שהתוצאות היו מוטות
וכוח הניבוי שלו היה מפחיד, בקושי יותר טוב ממזל,
והוא הגדיר באופן מוטעה נאשם שחור כפושע עתידי
בשיעור כפול מאשר נאשם לבן.
אז, בחנו את המקרה הבא:
האישה הזו איחרה לאסוף את אחותה החורגת
מבית ספר במחוז ברווארד, בפלורידה,
והיא רצה ברחוב עם חברתה.
הן הבחינו באופני ילדים ובקורקינט שהיו לא קשורים במרפסת
ובטיפשות קפצו עליהם.
בעוד הן דוהרות, אישה הגיחה ואמרה,
" הי, אלו האופניים של הילד שלי!"
הן זרקו אותם, הן הלכו משם, אבל הן נעצרו.
היא טעתה, היא עשתה שטות, אבל היא גם הייתה רק בת 18.
היו לה שתי עברות נעורים קודמות.
בינתיים, האיש הזה נעצר על גניבה מחנות בהום דיפו -
דברים בשווי של 85 דולר, פשע חסר חשיבות דומה.
אבל היו לו שתי הרשעות קודמות על שוד מזויין.
אבל האלגוריתם חישב אותה בסיכון גבוה, ולא אותו.
שנתיים לאחר מכן, פרו-פבליקה מצאה שהיא לא פשעה שוב.
רק היה לה קשה למצוא עבודה עם העבר שלה.
הוא, לעומת זאת, כן פשע שוב
וכעת הוא מרצה עונש של שמונה שנות מאסר בגלל פשע מאוחר יותר.
בברור, עלינו לבקר את הקופסאות השחורות שלנו
ולא לאפשר להן סוג כזה של כוח בלתי בדוק.
(מחיאות כפיים)
ביקורות הן נהדרות וחשובות אך הן לא פותרות את כל בעיותינו.
קחו למשל את האלגוריתם החזק של הפיד החדשותי של פייסבוק -
אתם יודעים, זה שמדרג כל דבר ומחליט מה להראות לכם
מכל החברים והדפים שאחריהם אתם עוקבים.
האם צריך להראות לכם תמונה אחרת של תינוק?
(צחוק)
הערה זועפת מאיזה מכר?
פריט חדשותי חשוב אך קשה לצפייה?
אין כאן תשובה נכונה.
פייסבוק מְיַטֶב לצורך מעורבות באתר:
לייקים, שיתופים, תגובות.
באוגוסט 2014,
פרצה מחאה בפרגוסון, מיזורי
לאחר הריגתו של נער אפריקני-אמריקני על-ידי שוטר לבן,
בנסיבות חשודות.
החדשות בנוגע למחאה הופיעו בגדול
בדף הטוויטר שלי שהוא ללא סינון אלגוריתמי,
אך לא הופיעו כלל בדף הפייסבוק שלי.
האם היו אלה חבריי בפייסבוק?
ניטרלתי את האלגוריתם של הפייסבוק,
דבר שקשה לעשות כי פייסבוק רוצה שתהיו
כל הזמן תחת שליטת האלגוריתם,
וראיתי שחבריי דיברו על זה.
רק שהאלגוריתם לא הראה לי את זה.
בדקתי את זה ומצאתי שזו הייתה בעיה נרחבת.
הסיפור מפרגוסון לא היה ידידותי לאלגוריתם.
הוא לא "אהוב".
מי יסמן לזה "לייק"?
אפילו לא קל להגיב עליו.
ללא לייקים ותגובות,
סביר שהאלגוריתם הראה אותו אפילו לפחות אנשים,
אז לא זכינו לראות את זה.
במקומו, באותו שבוע,
האלגוריתם של פייסבוק הדגיש את זה,
זהו אתגר דלי הקרח של ALS.
מטרה טובה; שפוך דלי קרח, תרום כסף, יופי.
אבל הוא היה ידידותי ביותר לאלגוריתם.
המכונה קיבלה את ההחלטה הזו עבורנו.
שיחה חשובה מאד אך קשה
אולי הייתה מושתקת,
אם פייסבוק היה הערוץ היחיד.
כעת, לבסוף, המערכות האלה גם יכולות לטעות
בצורות שאינן דומות למערכות אנושיות.
האם אתם זוכרים את ווטסון, מערכת הבינה המלאכותית של IBM
שטאטאה את הרצפה עם מתחרה אנושי במשחק "סכנה"?
הוא היה שחקן נהדר.
אבל אז, במשימה האחרונה, ווטסון נשאל את השאלה הבאה:
"שמו של שדה התעופה הכי גדול שלו נקרא ע"ש גיבור מלחמת העולם ה-2,
השני הכי גדול על שם קרב במלחמת העולם ה-II."
(מזמזת את הנעימה של השלב הסופי במשחק)
שיקגו.
שני האנשים ענו נכון.
ווטסון, לעומת זאת, ענה "טורונטו" -
בקטגוריה של ערים בארצות הברית!
המערכת המרשימה גם עשתה טעות
שבן אנוש לעולם לא היה עושה, שתלמיד כיתה ב' לא היה עושה.
הבינה המלאכותית שלנו יכולה להכשל
בדרכים שאינן תואמות לדפוסי טעויות אנושיות,
בדרכים שאנו לא מצפים להן ולא מוכנים להן.
זה יהיה מחורבן לא לקבל עבודה שאתה מוכשר אליה,
אבל זה יעצבן פי שלוש אם זה יהיה בגלל גלישת מחסנית
באיזו פונקציה תכנותית.
(צחוק)
במאי 2010,
התרסקות בזק בוול סטריט שהתגברה עקב תגובה חוזרת ונשנית
של אלגוריתם ה"מכירה" של וול סטריט
מחקה ערך של טריליון דולר ב- 36 דקות.
אני אפילו לא רוצה לחשוב מה המשמעות של "טעות"
בהקשר של נשק קטלני אוטונומי.
אז כן, אנשים מאז ומתמיד עשו הטיות.
מקבלי החלטות ושומרי הסף,
בבתי משפט, בחדשות, במלחמה...
הם עושים טעויות: אבל זו בדיוק הטענה שלי.
אנחנו לא יכולים לברוח מהשאלות הקשות הללו.
איננו יכולים להעביר את האחריות שלנו למכונות.
(מחיאות כפים)
הבינה המלאכותית לא נותנת לנו אישור להשתחרר מהאתיקה.
מדען הנתונים פרד בנסון מכנה זאת "שטיפה-מתמטית".
אנחנו זקוקים לדבר ההפוך.
עלינו לפתח אלגוריתם לחשדנות, בחינה מדוקדקת וחקירה.
עלינו להבטיח שיש לנו נטילת אחריות אלגוריתמית,
ביקורות ושקיפות משמעותית.
עלינו לקבל שהכנסת מתמטיקה ומחשוב
אל עניינים אנושיים מסובכים, עמוסי ערך
לא מביאה אוביקטיביות;
אלא, המורכבות של עניינים אנושיים חודרת אל האלגוריתמים.
כן, אנו יכולים וצריכים להשתמש במחשוב
כדי לעזור לנו לקבל החלטות טובות יותר.
אך עלינו לקחת בעלות על האחריות המוסרית והשיפוטיות שלנו,
ולהשתמש באלגוריתמים במסגרת הזו,
לא כאמצעי להתפטר או להעביר את האחריות שלנו
מאחד לשני כמו מאדם לאדם.
הבינה המלאכותית כבר כאן.
זה אומר שעלינו לשמור יותר מאי פעם
על ערכים אנושיים ואתיקה אנושית.
תודה רבה.
(מחיאות כפיים)