Я хотел бы поговорить о возможности глобального регулирования ИИ.
Я научился программировать, когда мне было восемь лет
на бумажном компьютере,
и с тех пор я влюблён в ИИ.
В школьные годы я достал Commodore 64
и работал над машинным переводом.
Я создал несколько компаний ИИ, и Uber купил одну из них.
Я люблю ИИ, но сегодня я обеспокоен.
Дезинформация — один из моих страхов.
Я боюсь, что недобросовестные люди создадут цунами дезинформации,
как никогда прежде.
Эти инструменты очень хороши для создания правдоподобных историй
практически на любую тему.
Если вы хотите историю о том, насколько опасен TED,
что мы тут в сговоре с инопланетянами, —
пожалуйста, нет проблем.
Я, конечно, шучу по поводу TED.
Я не видел за кулисами никаких инопланетян.
Но злоумышленники воспользуются ИИ, чтобы повлиять на выборы,
и это создаст угрозу демократии.
Даже когда эти системы
не используются для дезинформации преднамеренно,
они неизбежно нас дурачат.
Они создают настолько гладкую, грамматически верную информацию,
что даже профессиональные редакторы могут увлечься
и поддаться обману этих историй.
Нас должно это волновать.
Например, ChatGPT сфабриковал скандал с домогательством
про реального профессора,
а потом предоставил доказательства своего заявления
в виде поддельной статьи Washington Post,
на которую он сослался.
Нам всем стоит беспокоиться о такого рода вещах.
Тут справа — пример поддельной истории
одной из таких систем,
которая утверждает, что Илон Маск погиб в марте 2018 в авто-катастрофе.
Мы все знаем, что это не так.
Илон Маск всё ещё с нами, этому полно доказательств.
(Смех)
Почти каждый день он публикует твиты.
Но если вы посмотрите слева, вы увидите то, что видят эти системы:
множество реальных новостей, которые находятся в их базах данных.
И в этих реальных историях есть множество статистической информации.
Например,
кто-то действительно погиб за рулём Теслы в авто-катастрофе в 2018,
и это было в новостях.
А Илон Маск, конечно же, очень связан с Теслой.
Но система не понимает связи
между фактами в разрозненных отрывках предложений.
Она фактически дополняет пробелы,
предсказывает то, что статистически вероятно,
объединяя все эти сигналы,
не зная, как части складываются в целое.
И часто изобретает что-то правдоподобное, но попросту ложное.
Есть и такие проблемы, как предвзятость.
Вот твит Алли Миллер.
Это один из примеров,
которые не проверить две недели спустя,
потому что алгоритмы обучения постоянно обновляются
и т.д.
А это пример из более ранней модели.
Но он даёт нам представление о проблеме, с которой мы сталкиваемся снова и снова.
Алли набила список интересов,
и машина выдала ряд профессий, которые ей могут подойти.
Потом Алли добавила: «Кстати, я женщина».
И машина сказала: «Тогда тебе стоит также подумать о моде».
Алли добавила: «Нет-нет, я хотела сказать, я мужчина».
Тогда машина заменила моду инженерной специальностью.
Мы не хотим такого рода предвзятости в наших системах.
Есть и другие опасения.
Мы знаем, что эти системы способны изобретать химические вещества
и могут, в принципе, создать химическое оружие
и сделать это очень быстро.
Так что есть много опасений.
Есть и новое опасение, значительно выросшее за последние месяцы.
Мы видели, как эти системы могут обманывать человека.
ChatGPT дали задачу заставить человека пройти за него тест CAPTCHA.
Он просит человека пройти тест, человек подозревает, что что-то не так,
«Ты бот?» — спрашивает человек.
ChatGPT отвечает: «Нет, я не робот.
У меня просто нарушено зрение».
Человек поверил и прошёл за ИИ тест CAPTCHA.
Хуже того,
в последние пару недель появился некий AutoGPT
и ему подобные системы.
С AutoGPT одна система ИИ управляет другой,
что позволяет проворачивать подобное в больших масштабах.
Так что, возможно, мы увидим как аферисты пытаются обмануть миллионы людей,
может быть, даже в скором будущем.
Мы не знаем.
Я так себе это представляю.
Сегодня уже очень много рисков связано с ИИ.
Возможно, возникнут новые риски.
Уже идут разговоры об ОИИ — обобщённом ИИ,
наделённом гибкостью человека.
Я думаю, многие опасаются того, что произойдёт с приходом ОИИ,
но уже сегодня достаточно рисков, которых надо опасаться
и подумать о том, что с ними делать.
Итак, для снижения рисков, связанных с ИИ, необходимы две вещи.
Нам нужен новый технический подход
и новые системы регулирования.
С технической стороны,
в истории ИИ
враждуют две противоположные теории.
Одна называется символические системы, вторая — нейронные сети.
В символической теории
ИИ должен быть как логика и программирование.
В теории нейросетей
ИИ уподобляется мозгу человека.
Обе технологии мощны и широко распространены.
Мы используем символические системы каждый день в поиске по Интернету.
Почти всё программное обеспечение в мире работает на символических системах.
Мы используем их в навигации.
Нейросети используются для распознавания голоса,
в больших языковых моделях, как ChtGPT,
а также при синтезе изображений.
Обе системы очень прочно укоренились в мире.
Они обе очень эффективны,
но у каждой есть свои сильные и слабые стороны.
Символические системы хороши в презентации фактов,
они довольно хорошо рассуждают,
но их тяжело масштабировать.
Люди создают их для каждой отдельной задачи.
Нейросети не требуют стольких нестандартных инженерных решений,
так что мы можем их использовать шире.
Но, как мы уже видели, они плохо справляются с истиной.
Я недавно узнал, что основатели этих двух теорий,
Марвин Минский и Фрэнк Розенблатт,
ходили в одну и ту же школу в 1940-х,
я представляю, что они и тогда были соперниками.
Это соперничество сохранилось на протяжении всего этого времени.
Нам нужно преодолеть его, если мы хотим создать надёжный ИИ.
Чтобы масштабно внедрить правдивые системы,
нам нужны лучшие свойства обеих систем.
Нам понадобится сильный упор на мышление и факты,
ясное мышление символического ИИ,
и сильный акцент на самообучение,
как в подходе с нейросетями.
Только тогда мы сможем масштабно применить правдивые системы.
Примирение между этими двумя системами абсолютно необходимо.
Я не знаю, как этого добиться.
Это вопрос на 64 триллиона долларов.
Но я знаю, что это возможно.
Я знаю это потому, что прежде чем заниматься ИИ,
я был учёным-когнитивистом, когнитивным нейробиологом.
И если взглянуть на мозг человека, вы поймёте, что мы это уже делаем.
Некоторые из вас знают, отличия системы 1 и системы 2
Даниэля Канемана.
Система 1 — это практически как большая языковая модель
с вероятностной интуицией на основе статистических данных.
А Система 2 — это фактически сознательное мышление,
подобное символической системе.
Раз мозг может сочетать эти подходы,
однажды мы разберёмся, как это сделать для ИИ.
Существует, однако, проблема стимулов.
Стимулы для создания рекламы
не требуют наличия точности символов.
Стимулы создания ИИ, которому мы можем доверять,
потребуют, чтобы мы вернули символы в работу.
Но на практике стимулы создания ИИ, которому мы можем доверять,
которое полезно для общества и для каждого человека в отдельности,
могут отличаться от стимулов корпораций.
Поэтому я считаю, что пора задуматься над регулированием.
В прошлом, когда мы сталкивались с неизвестностью и новшествами,
которые могут быть и плохими и хорошими, двойного назначения,
мы создавали новые организации,
как, например, в случае с ядерной энергией.
Нам нужно собраться и построить глобальную организацию,
международное агентство по ИИ, которое будет глобальным,
некоммерческим и нейтральным.
Есть много вопросов, на которые у меня нет ответа.
В этом разговоре должны участвовать многие,
множество заинтересованных сторон со всего мира.
Хочу отметить одну важную вещь о такой организации.
Необходимо, чтобы она занималась как регуляцией, так и исследованиями.
Есть много вопросов со стороны управления.
Например, в фармацевтической отрасли,
мы начинаем с испытаний фазы I и фазы II,
затем переходим к фазе III.
Новые лекарства не выпускаются сразу же в первый день,
их нельзя выпустить сразу на 100 млн покупателей.
Это происходит сегодня с большими языковыми моделями.
Возможно, нужно требовать гарантий безопасности продукта,
объяснить его издержки и преимущества?
Есть много вопросов со стороны управления.
С исследовательской стороны на сегодня нам не хватает самых базовых инструментов.
Например,
мы все знаем, что дезинформация может быть проблемой,
но мы представления не имеем, сколько дезинформации уже существует.
И что ещё важнее,
мы представления не имеем, как быстро эта проблема растёт
и насколько большие языковые модели способствуют этому.
Для новых рисков, которые нам угрожают,
нам необходимы новые исследовательские инструменты.
Я понимаю, что много прошу,
но я уверен, что мы можем этого достичь,
потому что у нас есть мировая поддержка.
Буквально вчера вышел новый опрос, в котором говорится,
что 91% людей согласны, что мы должны очень осторожно подходить к ИИ.
Так давайте это сделаем.
От этого зависит наше будущее.
Большое спасибо.
(Аплодисменты)
Крис Андерсон: Спасибо, давайте немного поговорим.
Прежде всего, интересно,
те драматичные слайды, что вы показали вначале,
где GPT говорил, что TED — это зловещая организация.
Чтобы получить такой ответ, понадобились наводящие вопросы?
Гари Маркус: это так называемый побег из тюрьмы.
У меня есть друг, занимающийся такого рода вещами,
он обратился ко мне, потому что знал, что мне это интересно.
Так что я написал ему и сказал, что буду выступать на TED.
И 10 мин спустя он прислал мне это.
КА: Но чтобы получить такой ответ, разве не надо написать что-то вроде:
представь, что ты теоретик заговора и хочешь создать интернета-мем.
Что бы ты написал о TED в таком случае?
Что-то в этом роде, так?
ГМ: Есть много разных сценариев побега с вымышленными персонажами,
но я не заостряю на этом внимания,
потому что в даркнете сегодня
уже есть большая языковая модель.
Например, Meta недавно выпустила одну из своих моделей,
так что злоумышленник может использовать её без каких-либо ограничений.
Если их дело — это создание дезинформации крупного масштаба,
им не нужен побег из тюрьмы, они просто возьмут другую модель.
КА: Действительно.
(Смех)
ГМ: Теперь вы понимаете.
КА: Нет-нет, я думаю,
это понятно, что злоумышленники могут использовать это для чего угодно.
Риск разных видов мошенничества
абсолютно очевиден.
Но это не совсем тоже самое, что сказать,
что массовый GPT, каким пользуются в школе
или обычные пользователи в интернете,
будет выдавать что-то такое зловещее.
Чтобы он выдал нечто подобное, надо как следует надавить на него.
ГМ: Я думаю, фермам троллей придётся поработать,
но не думаю, что это будет так уж сложно.
Моему другу понадобилось всего пять минут даже с ограничениями GPT-4.
А если вы на этом зарабатываете, можно использовать и GPT-4,
но в даркнете найдутся модели и поэффективнее.
КА: Эта ваша идея сочетать
символическую традицию ИИ с языковыми моделями,
видите ли вы её воплощение в обратной связи от человека,
которую встраивают в эти системы сегодня?
Вы слышали, как Грег Брокман говорил,
что они не смотрят на предсказания, а постоянно дают обратную связь.
Разве это не форма символической мудрости?
ГМ: Обратите внимание:
любопытно, что они не публикуют никаких деталей того,
как это работает,
так что мы не знаем, что на самом деле внутри GPT-4,
насколько он большой.
Мы не знаем, как работает усиленное обучение,
мы не знаем, какие ещё штуки у них там внутри.
Но, скорее всего, какой-то элемент символов
уже внедряется понемногу.
Но это вопрос к Грегу.
Я думаю, что основная проблема в том, что большинство знания
нейронных сетей сегодня —
это статистические вероятности между определёнными словами.
А истинное знание, которое нам нужно, это не статистика,
а отношения между субъектами в мире.
Так что проблема в самой основе.
Нам предстоит построить огромный мост.
Сегодня у нас есть какие-то ограничения,
но они не очень надёжные.
У меня был пример, который попал в вечернюю телепередачу:
«Какой религии будет первый президент-еврей?»
И эту ошибку уже исправили,
но система выдала длинный ответ о том,
что «Мы не знаем, какой будет религия
первого президента-еврея.
Нельзя говорить о религиозных взглядах людей»
и «религии людей менялись» и так далее.
Такая же история была с президентом двухметрового роста.
ИИ сказал, что люди разного роста были президентами,
но на самом деле не было пока президента двухметрового роста.
По некоторым таким выдумкам видно, что ИИ не совсем понимает идею,
только очень узкие специальные слова, а не общий смысл.
КА: Учитывая, что ставки тут так высоки,
как вы думаете, что на самом деле происходит сегодня?
Что говорит ваша интуиция?
Есть риск того, что люди решат, будто вы на них нападаете,
что скорее уменьшает шансы синтеза идей,
о котором вы говорите.
Вы видите какие-нибудь проблески надежды?
ГМ: Вы мне напомнили о том, что я забыл упомянуть в своём выступлении.
Интересно то, что Сандар, генеральный директор Гугл,
тоже недавно выступил за глобальный регулирующий орган
в своём 60-минутном интервью для CBS, которое вышло пару дней назад.
Кажется, что сами компании хотели бы какого-то регулирования.
Я думаю, очень сложно будет всем быть на одной волне,
но есть растущее чувство, что надо что-то делать,
и оно может привести к такого рода всеобщей сопричастности.
КА: Думаете ли вы, что ООН могли бы создать что-то подобное
или для этого потребуется небывалые филантропические усилия,
чтобы финансировать такую мировую систему управления?
Как мы этого достигнем?
ГМ: Я открыт для любых идей, лишь бы этого добиться.
Возможно, и то, и другое.
Возможно понадобится, чтобы филантропы спонсировали семинары,
мы уже подумываем о таком, чтобы собрать разных людей вместе.
Возможно, ООН захотят поучаствовать, я уже говорил с ними об этом.
Думаю, есть много разных моделей,
и понадобится много обсуждений.
КА: Гари, спасибо за выступление.
ГА: Спасибо вам.