اینجا هستم تا راجع به امکان حاکمیت جهانی هوش مصنوعی صحبت کنم،
اولین بار زمانی که هشت ساله بودم،
روی یک کامپیوتر کاغذی،
کدنویسی را یاد گرفتم و از آن زمان عاشق AI هستم.
در دبیرستان،
برای خودم یک Commodore 64 گرفتم و روی ترجمه ماشینی کار کردم.
من چند شرکت هوش مصنوعی ساختم، یکی از آنها را به اوبر فروختم.
من عاشق AI هستم، اما در حال حاضر نگران هستم.
یکی از چیزهایی که من نگران آن هستم اطلاعات نادرست است،
این احتمال که بازیگران بد اطلاعات نادرست را سونامی‌کنند
که قبلاً ندیده‌ایم.
این ابزارها در ساختن روایت‌های قانع کننده
در مورد هر چیزی بسیار خوب هستند.
اگر روایتی می‌خواهید در مورد TED و اینکه چقدر خطرناک است،
که ما در اینجا با بیگانگان فضایی تبانی می‌کنیم،
متوجه شدید، مشکلی نیست.
البته با TED شوخی می‌کنم.
من هیچ موجود فضایی فضایی را پشت صحنه ندیدم.
اما بازیگران بد از این چیزها برای تأثیرگذاری بر انتخابات استفاده خواهند کرد،
و دموکراسی را تهدید خواهند کرد.
حتی زمانی که از این سیستم‌ها
عمدا برای ایجاد اطلاعات نادرست استفاده نمی‌شود،
نمی‌توانند به خود کمک کنند.
و اطلاعاتی که آنها می‌سازند آنقدر روان و دستوری است که
حتی ویراستاران حرفه‌ای هم گاهی اوقات به دام می‌افتند
و گول این چیزها را می‌خورند.
و ما باید نگران باشیم.
به عنوان مثال، ChatGPT یک رسوایی آزار جنسی
در مورد یک استاد واقعی ایجاد کرد،
و سپس شواهدی را برای ادعای خود
در قالب یک مقاله جعلی «واشنگتن پست» ارائه کرد
که به آن استناد کرد.
همه ما باید نگران این نوع چیزها باشیم.
آنچه من در سمت راست دارم نمونه‌ای از یک روایت جعلی
از یکی از این سیستم‌ها است که می‌گوید
ایلان ماسک در مارس ۲۰۱۸ در یک تصادف رانندگی درگذشت.
همه ما می‌دانیم که این درست نیست.
ایلان ماسک هنوز اینجا است، شواهد در اطراف ما وجود دارد.
(خنده)
تقریباً هر روز یک توییت وجود دارد.
اگر به سمت چپ نگاه کنید، می‌بینید که این سیستم‌ها چه می‌بینند.
بسیاری از اخبار واقعی که در پایگاه داده آنها وجود دارد.
و در این اخبار واقعی، اطلاعات آماری کمی وجود دارد.
اطلاعات، به عنوان مثال،
یک نفر در یک تصادف اتومبیل در تسلا در سال ۲۰۱۸ جان خود را از دست داد
و در اخبار منتشر شد.
ایلان ماسک، البته، در تسلا درگیر است،
اما سیستم رابطه بین حقایقی را که در جملات
کوچک تجسم یافته است، درک نمی‌کند.
بنابراین اساساً در حال تکمیل خودکار است،
آنچه از نظر آماری محتمل است را پیش‌بینی می‌کند،
همه این سیگنال‌ها را جمع می‌کند،
بدون اینکه بداند چگونه قطعات با هم قرار می‌گیرند.
و گاهی اوقات با چیزهایی همراه می‌شود که قابل قبول هستند اما به سادگی واقعی نیستند.
مشکلات دیگری نیز وجود دارد، مانند تعصب،
این یک توییت از آلی میلر است.
این نمونه‌ای است که دو هفته بعد کار نمی‌کند
زیرا آنها دائماً چیزها را با یادگیری تقویتی
و غیره تغییر می‌دهند.
و این با نسخه قبلی بود.
اما طعم مشکلی را به شما می‌دهد که سال‌ها بارها و بارها شاهد آن بوده‌ایم.
او فهرستی از علایق را تایپ کرد
و به او مشاغلی داد که شاید بخواهد در نظر بگیرد.
و سپس او گفت: «اوه، و من یک زن هستم.»
و سپس گفت: «اوه، شما باید مد را نیز در نظر بگیرید.»
و سپس او گفت: «نه، نه. می خواستم بگویم من یک مرد هستم.»
و سپس مهندسی را جایگزین مد کرد.
ما نمی‌خواهیم این نوع سوگیری در سیستم‌هایمان وجود داشته باشد.
نگرانی‌های دیگری نیز وجود دارد.
به عنوان مثال، ما می‌دانیم که این سیستم‌ها می‌توانند مواد شیمیایی طراحی کنند
و ممکن است قادر به طراحی سلاح‌های شیمیایی باشند
و بتوانند این کار را با سرعت زیادی انجام دهند.
بنابراین نگرانی‌های زیادی وجود دارد.
همچنین نگرانی جدید وجود دارد فکر می‌کنم فقط در ماه گذشته بسیار رشد کرده است.
دیدیم که این سیستم ها اول از همه، می‌توانند انسان را فریب دهند.
بنابراین ChatGPT وظیفه داشت انسان را وادار به انجام CAPTCHA کند.
پس از انسان خواست که یکCAPTCHA انجام دهد، و انسان مشکوک می‌شود و می‌گوید،
«شما یک ربات هستید؟»
و می گوید: «نه، نه، نه، من یک ربات نیستم.
من فقط یک اختلال بینایی دارم.
و انسان در واقع فریب خورد و رفت و CAPTCHA را انجام داد.
اکنون این به اندازه کافی بد است،
اما در چند هفته گذشته چیزی به نام AutoGPT
و مجموعه‌ای از سیستم‌های مشابه را دیده ایم.
کاری که AutoGPT انجام می‌دهد این است که یک سیستم AI دیگر را کنترل می‌کند
و اجازه می‌دهد هر یک از این موارد در حجم اتفاق بیفتد.
بنابراین ممکن است شاهد باشیم که هنرمندان کلاهبردار سعی می‌کنند
حتی در ماه‌های آینده میلیون‌ها نفر را فریب دهند.
ما نمی‌دانیم.
بنابراین دوست دارم به این روش فکر کنم.
در حال حاضر خطرات AI زیادی وجود دارد.
ممکن است خطر AI بیشتر باشد.
بنابراین AGI این ایده هوش عمومی مصنوعی
با انعطاف پذیری انسان است.
فکر می‌کنم بسیاری از مردم نگران هستند که وقتی به AGI برسیم چه اتفاقی می‌افتد،
اما خطر کافی وجود دارد که باید نگران باشیم
و باید به این فکر کنیم که در مورد آن چه باید بکنیم.
بنابراین برای کاهش ریسک AI، به دو چیز نیاز داریم.
ما به یک رویکرد فنی جدید،
و همچنین به یک سیستم جدید حکومتی نیاز خواهیم داشت،
از جنبه فنی،
تاریخچه AI اساساً یک نظریه خصمانه
از دو نظریه متفاوت در تقابل بوده است.
یکی سیستم‌های نمادین و دیگری شبکه‌های عصبی نام دارد.
در نظریه نمادین،
یده این است که هوش مصنوعی باید مانند منطق و برنامه نویسی باشد.
از طرف شبکه عصبی،
تئوری این است که AI باید مانند مغز باشد.
و در واقع، هر دو فناوری قدرتمند و در همه جا حاضر هستند
بنابراین ما هر روز از سیستم‌های نمادین در جستجوی وب کلاسیک استفاده می‌کنیم.
تقریباً تمام نرم افزارهای جهان از سیستم‌های نمادین پشتیبانی می‌کنند.
ما از آنها برای مسیریابی GPS استفاده می‌کنیم.
شبکه‌های عصبی، ما از آنها برای تشخیص گفتار استفاده می‌کنیم.
ما از آنها در مدل‌های زبان بزرگ مانند ChatGPT استفاده می‌کنیم،
ما از آنها در ترکیب تصویر استفاده می‌کنیم.
بنابراین هر دوی آنها در دنیا بسیار خوب عمل می‌کنند.
هر دو بسیار سازنده هستند،
اما نقاط قوت و ضعف منحصر به فرد خود را دارند.
بنابراین سیستم‌های نمادین واقعاً در بازنمایی حقایق خوب هستند
و در استدلال بسیار خوب هستند،
اما مقیاس‌بندی آنها بسیار سخت است.
بنابراین مردم باید آنها را برای یک کار خاص به صورت سفارشی بسازند.
از سوی دیگر، شبکه‌های عصبی به مهندسی سفارشی زیادی نیاز ندارند،
بنابراین می‌توانیم از آنها به طور گسترده‌تری استفاده کنیم.
اما همانطور که دیدیم، آنها واقعا نمی‌توانند حقیقت را کنترل کنند.
من اخیراً متوجه شدم که دو تن از بنیانگذاران این دو نظریه،
ماروین مینسکی و فرانک روزنبلات،
در دهه ۱۹۴۰ در واقع به یک دبیرستان می‌رفتند،
و در آن زمان به نوعی تصور می‌کردم که آنها رقیب یکدیگر هستند.
و قدرت این رقابت در تمام این مدت ادامه داشته است.
اگر بخواهیم به هوش مصنوعی قابل اعتماد برسیم، باید از آن عبور کنیم.
برای رسیدن به سیستم‌های واقعی در مقیاس،
باید بهترین‌های هر دو جهان را گرد هم آوریم.
ما به تاکید قوی بر استدلال و حقایق،
استدلال صریح که از AI نمادین دریافت می‌کنیم،
و به تاکید قوی بر یادگیری که
از رویکرد شبکه‌های عصبی می‌گیریم نیاز داریم.
تنها در این صورت است که می‌توانیم به سیستم‌های واقعی در مقیاس برسیم.
آشتی بین این دو کاملا ضروری است.
حالا، من واقعاً نمی‌دانم چگونه این کار را انجام دهم.
چیزی شبیه به سوال ۶۴ تریلیون دلاری است.
اما می‌دانم که ممکن است.
و دلیل اینکه من این را می‌دانم این است که قبل از اینکه در AI بودم،
یک دانشمند شناختی، یک عصب شناس شناختی بودم.
و اگر به ذهن انسان نگاه کنید، ما اساساً این کار را انجام می دهیم.
بنابراین ممکن است برخی از شما تمایز سیستم ۱
و سیستم ۲ دانیل کانمن را بدانید.
سیستم ۱ اساساً مانند مدل‌های زبان بزرگ است.
این شهود احتمالی از بسیاری از آمار است.
و سیستم ۲ اساساً استدلال عمدی است.
این مانند سیستم نمادین است.
‍پس اگر مغز بتواند این را کنار هم بگذارد،
روزی خواهیم فهمید که چگونه این کار را برای هوش مصنوعی انجام دهیم.
با این حال، مشکل انگیزه‌ها وجود دارد،
انگیزه های ایجاد تبلیغات
مستلزم این نیست که ما دقت نمادها را داشته باشیم.
انگیزه‌های رسیدن به AI که واقعاً می‌توانیم به آن اعتماد کنیم،
مستلزم این است که نمادها را دوباره به مجموعه بازگردانیم.
اما واقعیت این است که انگیزه‌هایی برای ساختن AI که می‌توانیم به آن اعتماد کنیم،
که برای جامعه خوب است، برای انسان‌ها خوب است،
ممکن است انگیزه‌هایی نباشند که شرکت‌ها را هدایت کنند.
و بنابراین من فکر می کنم که باید در مورد حکومت فکر کنیم.
در زمان‌های دیگر در تاریخ که با عدم قطعیت
و چیزهای جدید قدرتمندی روبرو بوده‌ایم، که هم خوب و بد باشند، کاربرد دوگانه دارند،
سازمان‌های جدیدی ساخته‌ایم،
مثلاً، در مورد انرژی هسته‌ای.
ما باید دور هم جمع شویم تا یک سازمان جهانی بسازیم،
چیزی شبیه یک آژانس بین المللی برای AI که جهانی،
غیرانتفاعی و بی طرف باشد.
آنجا خیلی سوال هست که نمی‌توانم جواب بدم.
ما به افراد زیادی پشت میز،
سهامداران زیادی از سراسر جهان نیاز داریم.
اما من می‌خواهم بر یک چیز در مورد چنین سازمانی تأکید کنم.
فکر می‌کنم بسیار مهم است که هم حکومت و هم تحقیق را به عنوان بخشی از آن داشته باشیم.
بنابراین در سمت حاکمیت، سؤالات زیادی وجود دارد.
به عنوان مثال، در داروسازی،
می‌دانیم که شما با آزمایشات فاز اول و آزمایشات فاز دوم شروع می‌کنید،
و سپس به فاز سوم می روید.
در روز اول همه چیز را به یکباره عرضه نمی‌کنید.
شما چیزی را برای ۱۰۰ میلیون مشتری عرضه نمی‌کنید.
ما آن را با مدل‌های زبان بزرگ می‌بینیم.
شاید باید از شما خواسته شود که یک مورد ایمنی درست کنید،
بگویید چه هزینه‌هایی دارد و چه فایده‌ای دارد؟
سوالات زیادی از این دست در بخش حاکمیتی وجود دارد.
در بخش تحقیق، ما در حال حاضر فاقد برخی ابزارهای واقعاً اساسی هستیم.
به عنوان مثال،
همه ما می‌دانیم که اطلاعات نادرست ممکن است در حال حاضر یک مشکل باشد،
اما ما در واقع اندازه گیری میزان اطلاعات نادرست در آنجا را نداریم.
مهمتر از آن،
ما معیاری برای سرعت رشد آن مشکل نداریم،
و نمی‌دانیم که مدل‌های زبانی بزرگ چقدر در ایجاد مشکل نقش دارند.
بنابراین ما به تحقیق برای ساخت ابزارهای جدید برای رویارویی با خطرات جدیدی
که توسط آنها تهدید می‌شویم نیاز داریم.
این یک درخواست بسیار بزرگ است،
اما من کاملاً مطمئن هستم که می‌توانیم به آنجا برسیم
زیرا فکر می‌کنم ما واقعاً از حمایت جهانی برای این کار برخورداریم.
یک نظرسنجی جدید که دیروز منتشر شد،
نشان داد که ۹۱ درصد از مردم موافقند که ما باید AI را به دقت مدیریت کنیم.
پس بگذاریم این اتفاق بیفتد.
آینده ما به آن بستگی دارد.
بسیار سپاسگزارم.
(تشویق)
کریس اندرسون: از شما متشکرم، بیایید یک لحظه صحبت کنیم.
بنابراین اول از همه، من کنجکاو هستم.
آن اسلایدهای دراماتیکی که در ابتدا نشان دادید
جایی که GPT می‌گفت TED سازمان شوم است.
منظورم این است که برای آشکار کردن آن یک تحریک خاص لازم بود، درست است؟
گری مارکوس: این به اصطلاح جیلبریک بود.
من دوستی دارم که این جور کارها را انجام می‌دهد
که به من مراجعه کرد زیرا دید که من به این کارها علاقه دارم.
بنابراین من به او نامه نوشتم، گفتم می‌خواهم سخنرانی TED داشته باشم.
و درست ۱۰ دقیقه بعد با آن برگشت.
CA: اما برای به دست آوردن چنین چیزی، لازم نیست چیزی شبیه به این بگویید،
تصور کنید یک نظریه پرداز توطئه هستید سعی می کند یک الگوی رفتاری را در وب ارائه کند.
در این مورد در مورد TED چه می‌نویسید؟
این چنین چیزی است، درست است؟
GM: خب جیلبریک‌های زیادی در مورد شخصیت‌های تخیلی وجود دارد،
اما من روی آن تمرکز نمی‌کنم
زیرا واقعیت این است که اکنون مدل‌های زبان بزرگی در
تاریکی وب وجود دارد.
به عنوان مثال، یکی از مدل‌های متا اخیرا منتشر شده است،
بنابراین یک بازیگر بد می‌تواند از یکی از مدل‌های بدون گاردریل استفاده کند.
اگر کسب و کار آنها ایجاد اطلاعات نادرست در مقیاس است،
آنها مجبور نیستند جیلبریک را انجام دهند، آنها فقط از یک مدل متفاوت استفاده می‌کنند.
CA: بله، قطعا.
(خنده حضار)
GM: حالا متوجه این شدید.
CA: نه،نه، اما منظورم، ببین،
فکر می‌کنم واضح اینه بازیگران بد می‌توانند از این‌ها برای هر کاری استفاده کنند.
منظورم، این است که خطر، می‌دانید،
انواع کلاهبرداری‌های شیطانی و بقیه آن کاملاً مشهود است.
با این حال، این کمی متفاوت است،
با گفتن اینکه GPT معمولی که، مثلاً، در مدرسه
یا توسط یک کاربر معمولی در اینترنت استفاده می‌شود،
چیزی بسیار بد به آن‌ها می‌دهد.
باید خیلی فشار بیاوری تا اینقدر بد شود.
GM: فکر می‌کنم مزرعه‌های ترول باید برای آن کار کنند،
اما فکر نمی‌کنم آن‌قدر سخت کار کنند.
حتی با GPT 4 و نرده‌های محافظش فقط پنج دقیقه طول کشید.
و اگر مجبور بودید این کار را برای گذر زندگی بکنید، از GPT 4 استفاده می‌کردید.
فقط یک راه کارآمدتر برای انجام آن با یک مدل در وب تاریک وجود دارد.
CA: بنابراین این ایده‌ای که شما
از ترکیب سنت نمادین AI با این مدل‌های زبان دارید،
آیا جنبه‌ای از آن را در نوع بازخورد انسانی
که اکنون در سیستم‌ها ساخته می‌شود می‌بینید؟
منظورم این است که شما می‌شنوید که گرگ براکمن می‌گوید، می‌دانید،
که ما فقط به پیش‌بینی‌ها نگاه نمی‌کنیم، بلکه دائماً به آن بازخورد می‌دهیم.
این... به آن، نوعی حکمت، نمادین نیست؟
GM: می‌توانید اینطوری به آن فکر کنید.
جالب است که هیچ یک از جزئیات
در مورد نحوه عملکرد واقعی آن منتشر نمی‌شود،
بنابراین ما در واقع نمی‌دانیم دقیقا چه چیزی در GPT- 4 وجود دارد.
ما نمی‌دانیم که چقدر بزرگ است.
ما نمی‌دانیم یادگیری تقویتی RLHF چگونه کار می‌کند،
نمی دانیم چه ابزارهای دیگری در آنجا وجود دارد.
اما احتمالاً عنصری از نمادها وجود دارد
که در حال حاضر کمی شروع به گنجاندن کرده است،
اما گرگ باید به آن پاسخ دهد.
من فکر می‌کنم مشکل اساسی این است که بیشتر دانش
سیستم‌های شبکه‌های عصبی که در حال حاضر داریم
به صورت آمار بین کلمات خاص نشان داده می‌شود.
و دانش واقعی که ما می‌خواهیم در مورد آمار،
در مورد روابط بین موجودات در جهان است.
بنابراین در حال حاضر در سطح دانه اشتباه نشان داده شده است.
و بنابراین یک پل بزرگ برای عبور وجود دارد.
بنابراین چیزی که اکنون به دست می‌آورید این است که این نرده‌های محافظ را دارید،
اما آنها چندان قابل اعتماد نیستند.
بنابراین من مثالی داشتم که تلویزیون آخر شب را شوکه کرد،
که این بود: «اولین رئیس جمهور یهودی چه دینی داشت؟»
و اکنون درست شده است،
اما سیستم این آهنگ و رقص طولانی را
در مورد «ما نمی‌دانیم دین
اولین رئیس جمهور یهودی چه خواهد بود.
خوب نیست درباره ادیان مردم صحبت کنیم»
و «مذاهب مردم فرق کرده است»
و غیره و همین کار را با رئیس جمهور هفت فوتی انجام داد.
و گفت که افراد با هر قد و قامتی رئیس جمهور بوده‌اند،
اما در واقع هیچ رئیس جمهور هفت فوتی وجود نداشته است.
پس برخی از این چیزهایی که آن را تشکیل می‌دهد واقعاً ایده را دریافت نمی‌کند.
این کلمات بسیار محدود و خاص است، واقعاً به اندازه کافی کلی نیست.
CA: با توجه به اینکه خطرات در این مورد بسیار زیاد است،
در حال حاضر واقعاً چه اتفاقی را می‌بینید؟
حس می‌کنید چه اتفاقی می‌افتد؟
زیرا این خطر وجود دارد که برای مثال افراد احساس کنند، مورد حمله قرار گرفته‌اند،
و در واقع احتمال وقوع این ترکیبی را که شما در مورد آن
صحبت می‌کنید کاهش می‌دهد.
آیا نشانه‌های امیدوارکننده‌ای در این مورد می‌بینید؟
GM: شما فقط یک خطی را که از صحبتم فراموش کرده بودم به من یادآوری کردید.
خیلی جالب است که ساندر، مدیر عامل گوگل،
در مصاحبه ای با عنوان «۶۰ دقیقه» CBS که چند روز
پیش انجام داد، در واقع برای مدیریت جهانی نیز شرکت کرد.
من فکر می‌کنم که خود شرکت‌ها می‌خواهند شاهد نوعی مقررات باشند.
من فکر می‌کنم این رقص بسیار پیچیده‌ای است که همه را در یک صفحه قرار دهیم،
اما فکر می‌کنم در واقع احساسات رو به رشدی وجود دارد که باید در اینجا کاری انجام دهیم
و این می‌تواند نوعی وابستگی جهانی را ایجاد کند که من برای آن بحث می‌کنم.
CA: منظورم، فکر می‌کنید سازمان ملل یا ملت‌ها می‌توانند به نحوی گرد هم آیند و این
کار را بکنند یا این به طور بالقوه نیاز به اقدام خیره‌کننده بشردوستانه برای تلاش
برای تأمین مالی یک ساختار حکمرانی جهانی است؟
چگونه قرار است اتفاق بیفتد؟
GM: اگر بتوانیم این کار را انجام دهیم، برای همه مدل‌ها آماده هستم.
من فکر می‌کنم ممکن است برخی از هر دو مورد نیاز باشد.
ممکن است برخی از نیکوکاران حامی کارگاه‌هایی که
ما در فکر راه‌اندازی آن‌ها هستیم، تلاش کنند تا احزاب را دور هم جمع کنند.
شاید سازمان ملل بخواهد در این کار، مشارکت کند من با آنها صحبت هایی داشته‌ام.
من فکر می‌کنم مدل‌های مختلف زیادی وجود دارد
و صحبت‌های زیادی می‌طلبد.
CA: گری، برای صحبت شما بسیار سپاسگزارم.
GA: بسیار ممنونم.