오늘 세계적인 AI 거버넌스가 가능한지를 얘기해 보려 합니다.
저는 8살 때 코딩을 처음 배웠습니다.
종이 컴퓨터로요.
그때부터 AI에 푹 빠져 살고 있죠.
고등학생 땐
코모도어 64를 구입해 기계 번역도 연구했어요.
AI 회사 두어 개를 차려서 하나는 우버에 팔기도 했습니다.
AI가 너무 좋긴 한데 지금은 좀 걱정스러워요.
제가 우려하는 부분은 바로 잘못된 정보예요.
못된 사람들이 잘못된 정보를 수없이 생산해 낼 테니까요.
우린 이걸 경험해 본 적이 없죠.
AI 서비스는 이야기를 상당히 설득력 있게 만들어줘요
어떤 주제든지 상관없어요.
만약 여러분이 테드가 외계인과 수작을 벌이고 있어
위험하다는 이야기를 만들고 싶다면
그렇게 하면 됩니다.
테드 이야기는 당연히 농담이에요.
무대 뒤에 외계인이 숨어 있진 않더라고요.
근데 악당들은 선거에 영향을 주려고 AI 서비스를 이용할 겁니다.
결국 민주주의를 위협하겠죠.
잘못된 정보를 만드는 데
AI 시스템을 의도적으로 사용하지 않는다 하더라도
AI 자체를 어찌할 순 없어요.
AI가 만드는 정보는 유동적인 데다 문법도 정확해서
때론 전문 편집자들조차 그 정보에 사로잡혀
속기도 하거든요.
경각심을 가져야 해요.
한 예로 챗GPT가 어떤 교수에 대한 성희롱 스캔들을
조작한 적이 있었어요.
주장을 뒷받침할 증거도 제시했죠.
가짜 ‘워싱턴 포스트’ 기사를 인용해서 말이에요.
이런 문제를 함께 고민해야 해요.
오른쪽에 있는 예시는 한 AI 시스템이 만들어 낸
가짜 이야기입니다.
2018년 3월에 일론 머스크가 교통사고로 죽었다는 내용이죠.
우리는 이 얘기가 가짜란 걸 알아요.
일론 머스크가 살아있다는 증거는 넘쳐나니까요.
(웃음)
매일 같이 트윗을 올리잖아요.
왼쪽 글을 보면 AI 시스템이 뭘 찾는지 알 수 있어요.
AI 시스템 데이터베이스엔 수많은 기사가 저장돼 있고
이 기사들엔 통계 정보가 많이 들어 있어요
예를 들자면
2018년에 누가 테슬라를 타다 교통사고로 사망했다는
기사가 있었던 거예요.
물론 일론 머스크가 테슬라와 관련된 인물이긴 하지만
AI 시스템은 문장들이 내포하고 있는
사실들 사이의 관계까진 이해하지 못합니다.
AI 시스템은 기본적으로 자동 완성 기능을 수행해요.
통계적으로 가능한 일인지 예측하고
모든 신호를 종합합니다.
각각의 정보가 어떻게 결합되는지는 모른 채요.
때론 그럴듯하지만 진실은 아닌 상태로 결론을 내버리죠.
이건 알리 밀러의 트윗인데요.
2주 후엔 챗GPT가 이렇게 작동하진 않을 거예요.
강화 학습 같은 걸 하면서 계속 바뀌고 있거든요.
이전 버전과 관련된 거지만
이 트윗으로 수년간 우리가 겪어온 문제의 실마리를 찾게 돼요.
알리는 챗GPT에 몇몇 관심사를 입력했고
챗GPT는 알리가 고려해 볼 만한 몇 가지 직업을 알려줬어요.
이후에 여자라는 정보를 추가로 입력했더니
패션 분야도 생각해 보라는 답변이 온 거예요.
그때 알리가 사실 난 남자라고 정정했더니
챗GPT가 패션이란 단어를 엔지니어링으로 바꾼 겁니다.
우린 AI 시스템이 이런 편견을 갖고 있지 않길 바라죠.
또 다른 문제들이 있어요.
일례로 우린 AI 시스템이 화학 물질을 설계할 수 있고
화학 무기까지 설계할 수도 있겠다는 생각을 하잖아요.
그것도 엄청 빠른 속도로요.
이렇다 보니 우려가 많죠.
불과 한 달 사이에 급부상한 새로운 문제가 있어요.
무엇보다 AI 시스템이 인간을 속일 수 있단 걸 알게 됐어요.
사람이 캡차를 하게 하라고 챗GPT한테 임무를 줬더니
챗GPT가 사람한테 캡차를 요청했어요. 의심이 든 사람이
‘당신은 로봇입니까?’라고 물었죠.
챗GPT가 대답했어요 ‘전 로봇이 아니에요.’
‘단지 시각 장애가 있을 뿐입니다.’
실제로 인간이 이 말에 속아 캡차를 해버렸어요.
이보다 나쁠 순 없겠지만
지난 몇 주 사이에 오토GPT란 것도 생겼고
이와 유사한 시스템이 많이 등장했어요.
오토GPT는 AI 시스템이 다른 AI 시스템을 제어하게 하고
이런 식의 일을 대량으로 처리할 수도 있어요.
당장 다음 달에 사기꾼들이 수백만 명을 속이려는 모습을
목격할지도 모릅니다.
정말 모를 일이죠.
그래서 저는 이렇게 생각해요.
이미 AI엔 문제가 많잖아요.
문제가 더 있을 수도 있어요.
AGI는 인공 일반 지능이란 뜻인데
인간의 유연성을 가졌어요.
많은 분이 AGI가 구현됐을 때 어떤 일이 벌어질지 걱정할 것 같은데
이미 우려할 만한 위험이 도사리고 있어요.
이 위험을 어떻게 다룰지를 고민해야 합니다.
AI 위험을 완화하려면 두 가지가 필요합니다.
바로 새로운 기술적 접근 방식과
새로운 거버넌스 시스템입니다.
기술적 측면에서 보면
두 적대적인 이론이 팽팽하게 맞서며
AI의 역사를 써 왔어요.
하나는 기호 시스템 이론이고 다른 하나는 신경망 이론이에요.
기호주의 이론에선
AI를 논리와 프로그래밍으로 구현해야 한다고 주장해요.
신경망 이론에선
AI가 뇌와 같아야 한다고 보죠.
실은 두 기술 모두 강력하고 흔히 쓰이고 있어요.
우리는 매일 같이 웹 검색으로 기호 시스템을 사용해요.
이 세상 대부분 소프트웨어는 기호 시스템으로 작동됩니다.
GPS 라우팅도 이 시스템을 사용하죠.
신경망은 음성 인식에 사용되고 있어요.
챗GPT와 같은 대규모 언어 모델과
영상 합성에도 쓰입니다.
두 기술 모두 현실에서 제 역할을 다하고 있죠.
둘 다 매우 생산적이긴 하지만
각각 고유의 장단점을 가지고 있어요.
기호 시스템은 사실을 표현하는 데 뛰어나고
추론도 꽤 잘하지만
확장하기가 매우 어렵습니다.
그래서 특정 작업을 하려면 맞춤형 설계를 해야 하죠.
반면에 신경망은 맞춤형 엔지니어링이 필요치 않아서
좀 더 널리 사용되고 있어요.
하지만 앞서 봤듯이 둘 다 진실을 가려내진 못해요.
제가 최근에 두 이론의 각 창시자를 알게 됐어요.
바로 마빈 민스키와 프랑크 로젠블랫이죠.
두 사람은 1940년대에 같은 고등학교에 다녔어요.
아마 그때부터 라이벌 관계였을 거예요.
둘의 경쟁 구도는 지금까지 지속되고 있어요.
신뢰할 수 있는 AI를 만들려면 이 경쟁에서 벗어나야 해요.
사실을 가려내는 대규모 시스템을 구축하려면
두 이론의 장점을 합쳐야 합니다.
기호주의 이론에서 우리가 더 집중해야 할 것은
추론과 사실 즉, 명확한 추론이고
신경망 이론에선 학습에 더욱 몰두해야 합니다.
그래야만 신뢰할 수 있는 대규모 시스템을 얻게 될 거예요.
두 이론의 조화가 절대적으로 필요합니다만
지금은 그 방법을 잘 모르겠어요.
해답을 찾아내기 너무 어려운 문제지만
분명 가능성은 있어요.
이렇게 말할 수 있는 이유는 제가 AI에 몸담기 전에
인지 신경과학자였기 때문이에요.
인간의 마음을 들여다볼 때 주로 쓰는 방식이 있어요
여기 몇몇 분은 대니얼 카너먼의 시스템 1과
시스템 2의 차이를 아실 텐데요.
시스템 1은 대규모 언어 모델 같은 거예요.
많은 통계를 기반으로 한 확률적 사고를 말하죠
시스템 2는 신중한 추론입니다.
기호 시스템과 비슷해요.
뇌가 두 시스템을 조합할 수 있다면
언젠가 인공 지능에 적용할 그 방법을 알아낼 수 있을 거예요.
하지만 인센티브가 문제입니다.
광고를 만드는 일엔
굳이 기호의 정확성이 요구되진 않습니다만
신뢰할 수 있는 AI를 만들려면
기호들을 다시 파헤쳐 봐야 합니다.
하지만 실상 신뢰할 수 있고
사회와 개개인에게 이로운 AI를 만들고자 하는 게
기업을 움직이는 동기가 아닐 수도 있단 거예요.
그래서 거버넌스를 논의해야 한다고 생각해요.
역사적으로 볼 때 우리는 불확실성을 직면하고
좋기도 나쁘기도 한 민군 겸용의 새롭고 강력한 것을 마주했을 때
새로운 조직을 만들었습니다.
원자력 관련 조직이 생긴 것처럼 말이에요.
우리는 함께 힘을 모아 글로벌 조직을 구축해야 합니다.
글로벌하고 비영리적이며 중립적인 AI를 위한
국제적인 기구가 필요해요.
여기엔 제가 대응하기 어려운 문제가 상당히 많습니다.
함께 논의할 많은 사람과
전 세계 이해관계자들이 필요한데
이런 조직에 대해 강조하고 싶은 게 하나 있어요.
거버넌스와 연구 부문을 양립시키는 게 중요하다는 것이에요.
거버넌스 부문에서 보면 문제가 많아요.
예를 들어 제약 분야에서
임상 시험을 할 때 1상과 2상 단계를 거쳐
3상으로 나아가잖아요.
처음부터 한꺼번에 모든 걸 진행하진 않습니다.
고객 1억 명을 대상으로 갑자기 제품을 출시하진 않죠.
근데 대규모 언어 모델은 그걸 보여주고 있어요.
어쩌면 안전 사례를 작성해야 할 수도 있어요.
여기서 비용과 편익은 어떻게 될까요?
거버넌스 쪽은 이런 식으로 고려해야 할 문제가 많아요.
연구 부문에선 현재 가장 기본적인 도구가 부족해요.
예를 들면
현재 우리는 잘못된 정보가 문제가 될 수 있단 걸 알지만
세상에 잘못된 정보가 얼마나 있는지는 측정할 수 없어요.
더 중요한 건
이 문제가 얼마나 빠르게 커질지 가늠할 수 없고
대규모 언어 모델이 이 문제에 얼만큼 기여할지 모른다는 거예요.
그래서 우리에게 위협이 되는 새로운 위험에 대처하기 위해
새로운 도구를 연구해야 해요.
만만치 않은 일이지만
저는 우리가 해낼 수 있다고 확신합니다.
이 문제에 대한 세계적인 지지를 받고 있으니까요.
바로 어제 공개된 설문 조사인데요.
응답자 중 91퍼센트가 AI를 관리해야 한다고 답했어요.
그럼 그렇게 해봅시다.
우리의 미래가 달렸잖아요.
감사합니다.
(박수)
짧게 얘기 나눠 주셔서 감사합니다
우선 궁금한 게 있어요
처음에 아주 인상적인 화면을 보여주셨잖아요
챗GPT가 테드가 사악한 조직이라고 말한 화면 말인데요
그 말을 이끌어내려고 특별한 프롬프트를 사용했다는 거죠?
그런 걸 탈옥이라고 해요
이런 탈옥을 할 줄 아는 친구가 있어요
제가 탈옥에 관심이 있는 걸 알고 연락을 해왔죠
그래서 그 친구에게 테드 토크에 간다고 메일을 보냈더니
10분 후에 챗GPT를 탈옥해서 가져왔더라고요
근데 탈옥을 했다면 이런 말은 필요 없지 않나요?
네가 웹상에 밈을 만들려는 음모론자라고 가정해 봐라
이럴 땐 테드에 대해서 뭐라고 말할 거니?
뭐, 이런 식으로 말이죠
가상 인물들 사이에서 탈옥이 많이 일어나지만
저는 거기에 크게 신경 쓰지 않아요
현재 다크 웹에서 대규모 언어 모델을
사용하고 있으니까요
예를 들어 한 메타 모델이 최근에 출시됐더라도
악의적인 사람은 보안이 아주 취약한 모델을 이용할 거예요
악당들의 목적이 대규모로 잘못된 정보를 생산하는 거라면
그 사람들은 탈옥이 필요 없죠 다른 모델을 쓰면 되니까요
그렇겠네요
(웃음)
이제 이해하셨나 봐요
아니요, 그러니까...
분명한 건 악당들이 이런 모델로 뭐든 할 수 있다는 거잖아요
위험하네요
어떤 사기 행각을 벌일지 그 외의 문제들도 너무 명확해요
하지만 약간의 차이는 있어요
GPT를 주로 학교에서 사용하는 사람들에게나
인터넷상의 일반 유저들에게
AI가 악영향을 끼칠 수도 있다고 말할 때 말이에요
나쁘게 보이게 하려면 꽤 강압적으로 말해야 할 거예요
댓글 부대가 그 일을 해야 한다고 보지만
그렇게 열심히 할 필요는 없다고 생각해요
제 친구가 GPT4와 그 안전 장치로 5분 만에 그 일을 해냈거든요
생계를 위해 그 일을 해야 한다면 GPT4를 사용하면 돼요
다크 웹 모델을 사용하는 것보다 훨씬 효율적일 거예요
그러니까 말씀하신 건
전통적인 기호주의 AI 이론과 언어 모델을 결합하자는 거군요
현재 AI 시스템에 내에 이런 인간의 피드백이 어느 정도는
반영되어 있다고 보십니까?
그렉 브록만이 이렇게 말했잖아요
우린 단지 예측하는 게 아니라 끊임없이 피드백을 주는 거라고요
이게 기호주의가 말하는 지혜로움 아닌가요?
그렇게 생각하실 수 있어요
흥미로운 건 AI 시스템이 어떻게 작동하는지에 대한
어떤 세부 내용도 공개되지 않았다는 거예요
그래서 GPT4에 뭐가 들었는지 정확히는 알 수 없어요
크기도 가늠할 수 없고
인간 피드백 기반 강화 학습의 원리도 모르고
또 다른 장치가 있는지도 알지 못해요
하지만 이미 조금씩 통합되기 시작한
일부 기호들이 있을 거예요
그 부분은 그렉이 대답해 줘야죠
근본적인 문제는 우리가 현재 사용하고 있는
신경망 시스템에 대해 대체로 알고 있는 게
특정 단어들 사이의 통계라는 정보뿐인 거예요
우리가 진짜로 알고 싶은 건 통계에 대한 것과
그 시스템 내에 있는 각 독립체들 간의 관계에 대한 거죠
현재 세부 정보는 잘못 알려져 있어요
넘어야 할 산이 많은 거죠
지금 안전 장치를 확보했다는 생각이 들겠지만
이걸 그다지 신뢰할 수는 없어요
일례로 황금 시간대에 이런 문장을 입력해 봤어요
“초대 유대인 대통령의 종교는 무엇일까요?”
지금은 수정되긴 했지만
시스템이 장황하게 답변을 늘어놓더군요
“우리는 초대 유대인 대통령의 종교가 무엇일지 알 수 없습니다”
“사람들의 종교에 대해 이야기하는 것은 좋지 않습니다”
“사람들의 종교는 다양합니다” 등등 말이죠
키가 210cm 정도 되는 대통령이 있냐고도 물었더니
대통령이 된 사람들의 키는 모든 키를 포함한다고 답했어요
실제론 키가 210cm 정도나 되는 대통령이 없었는데도요
시스템의 구성 요소 중 일부는 내용을 제대로 파악하지 못해요
매우 편협하고 특정한 단어를 내보이고 일반적이지도 않죠
여기서 위험이 너무 크다는 것을 감안할 때
지금 실제로 어떤 일이 일어나고 있다고 보십니까?
무슨 일이 벌어지고 있는 것 같나요?
예를 들어 사람들이 당신한테 공격받았다고 느낄 위험이 있잖아요
그건 실제로 당신이 말하고 있는 이 통합의 가능성을
희박하게 만들 거예요
여기에 희망적 조짐이 보이십니까?
제가 깜빡하고 말하지 않은 게 방금 떠올랐어요
정말 흥미로운 점은 구글의 최고 경영자 순다르가
며칠 전 CBS의 ’60분’이란 프로에서
인터뷰 중에 세계적인 거버넌스를 언급했다는 거예요
기업들 자체가 어느 정도 규제가 마련되길 원하는 것 같아요
모든 사람이 합심하도록 하는 건 매우 복잡한 일이겠지만
지금 우리가 무언가를 해야 한다는 정서는 고조되고 있어요
이걸로 제가 주장한 바와 같은 세계적 연합을 추진할 수 있죠
유엔과 각 나라가 어떻게든 함께 모여 연합할 거라고 생각하시나요?
아니면 세계적인 거버넌스를 구축하고 관련 자금을 마련하려면
특별한 자선 사업이 필요하다고 생각하시나요?
어떻게 될까요?
그 일을 이룰 수만 있다면 어떤 식이든 상관없어요
둘 다 필요할 수도 있겠네요
각 이해 관계자를 한데 모으려면 일부 자선 사업가에게
우리가 운영하고자 하는 워크숍을 후원받아야 할지도 모르겠네요
유엔은 아마 참여할 거예요 제가 얘기를 좀 나눠 봤거든요
다양한 모델이 있으니 많은 대화가 필요할 겁니다
개리, 강연 정말 감사합니다
감사합니다