AI의 존재론적 위협보다 중요한 것들에 대해
AI 때문에 인류가 망할 수 있을까? 우리는 지금 뭘 해야 하나? 에 대해서 최근에 읽고 들었던 이야기들을 정리해보았습니다.
몇 달 전 Future of Life Institute에서 낸 공개서한이 큰 화제였습니다. “6개월 동안 우리 다 같이 GPT-4보다 강력한 수준의 AI를 개발하는 것을 멈춰보자”라는 내용이었고, 오늘날의 AI 시스템이 거의 사람과 경쟁할 수 있는 수준으로 발전하고 있으므로 언젠가는 인간을 대체할 수도 있고 인간이 통제할 수 없는 위험을 불러올 수 있다는 주장이었습니다. 그리고 이 서한에는 제프리 힌튼, 요슈아 벤지오, 일론 머스크, 스티브 워즈니악 등이 서명을 해서 더 큰 화제가 됐고 지금까지 총 3만 여 명의 서명을 받았죠.
Chat GPT 열풍과 “AI Pause” Letter라고 불리는 이 서한으로 시작해서 올해는 뭐랄까 AI 종말론이 유행인 것 같습니다. 제프리 힌튼이 구글을 떠나면서 인공지능의 위험에 대해 자유롭게 발언하기 위해서이며 자신의 40년 연구가 어떤 결과를 불러올지 두렵다고 인터뷰를 하기도 했고요. 소위 말하는 AGI(Artificial General Intelligence; 일반 인공 지능)의 시대가 도래하고 나면 강력한 디지털 정신(digital mind)이 인간을 훨씬 뛰어넘게 되어서 우리 존재가 쓸모 없어질 것이라는, 무시무시하지만 어디서 많이 들어본 시나리오입니다.
이 주제에 대해서는 뭐 누군가는 매우 공감할 수도 있겠고, 누군가는 무슨 SF 같은 헛소리야 라고 생각할 수도 있겠지만 후자라고 생각하더라도 이미 그냥 헛소리 취급하기에는 스케일이 커져버렸습니다. 위에 언급한 이름들만 봐도 그걸 알 수가 있죠.
그렇기 때문에 이런 종말론 자체가 해롭다는 목소리도 많이 나오고 있는 상황입니다. 그 목소리를 한 마디로 요약하면,
AI 종말론은 현재 실존하지도 않는 불명확한 미래의 위협을 통해 공포를 조장하면서 지금 당장 해결이 필요한 AI의 문제들로부터 대중의 관심과 정치적/사회적 자원을 빼앗아가고 있다!
입니다.
이 주장에 대해서는 fast.ai 블로그에 최근 올라온 글에서 인상적이었던 몇 군데를 번역해보았습니다. (👉 전문)
(서한이 주장하는 것처럼) 세계적인 우선순위가 되려면 그냥 중요하기만 해서 되는 게 아니라 시급해야 합니다. 우리는 아직도 세계적인 팬데믹 한가운데에 있고, 러시아의 우크라이나 침략은 핵 전쟁을 임박한 위협으로 만들었습니다. 서한에서 언급되지도 않은 재앙 수준의 기후 변화는 이미 시작되었을 가능성이 매우 높습니다. AI로 인해 멸종될 위협이라는 게 이 문제들과 똑같이 시급할까요? 서한에 서명한 사람들은 정말로 현존하는 AI 시스템이나 그들의 바로 뒤따르는 버전들이 우리를 모두 쓸어버릴 수 있다고 생각하는 건가요? 만약 그렇다면, 이 서한에 서명한 업계 리더들은 당장 그들의 데이터 센터들을 셧다운 시키고 모든 걸 정부에 넘겨줘야 할 것입니다. 지금 존재하는 AI 시스템을 안전하게 만들 궁리를 할 게 아니라 당장 중단하고 없애 버려야죠. 우리는 사실 서명한 대부분의 사람들이 지배적인 AI는 아직 멀었고 언젠가 등장하더라도 거기까지 도달하기 위해서는 우리가 예상하기 어려운 상당한 수준의 과학적인 진보가 필요할 것이라고 믿는다고 생각합니다.
우리는 AI가 가져오는 심각한 위협 중 더 시급한 것들에 무게를 두어야 합니다. 현존하는 AI 시스템과 그것들의 가능한 확장이 우리를 멸종시키지는 않을지 모르겠지만, 이미 더욱 집중적인 해를 끼치고 있습니다. 그것들은 분명 불평등을 악화시키고 권력에 굶주린 정부와 비양심적인 기업의 손을 통해 개인과 집단의 자유를 훼손하고 있어요. 우리는 지금 이러한 위협들을 완화시킬 수 있고, 앞으로 나아가기 위해 예측하기도 어려운 어떤 과학적인 발전을 기다릴 필요가 없습니다. 이런 위협들이 우리의 우선순위가 되어야 합니다. 결국 우리가 지금 있는 문제들에 대해서조차 최선을 다해서 해결하려고 하지 않는데 미래의 AI가 가져올 문제들을 다룰 수 있는 능력이 생길 거라고 어떻게 자신할 수 있을까요? AI의 미래에 대한 모호한 예측으로 대중들에게 겁을 주는 대신 우리는 우리가 해야 할 일에 더 집중해야 합니다. 우리가 걱정해야 할 것에 집중하지 말고요.
실제로 현재 수준의 AI가 유발하는 문제들도 나열하자면 상당히 깁니다. 생성 AI를 만드는 기업들은 저작권 침해로 미술작가로부터 줄줄이 소송을 당하고 있고, 대형 LLM을 훈련시키는 데 드는 리소스는 안 그래도 망해가는 기후 변화 문제에 한숟갈씩 더 얻고 있고, 데이터 수집에 대한 법적 영역은 거의 정해진 게 없는 상황에서 어딘가에서 우리의 개인 정보가 어떤 모델 학습에 야무지게 쓰이고 있겠죠. 지적 재산권, 데이터를 소유한 빅테크 기업의 독점, AI를 판단에 사용했을 때의 윤리와 공정성, 군사적인 이용, 일자리 문제, 소셜 미디어에서의 정보 조작… 진짜 쓰자면 끝이 없는데요. 이런 것들을 다 두고 그냥 미래에 AI가 우리 존재를 위협하면 어떡해? 라고 논의의 초점을 돌리는 것이 과연 맞는 방향인가 하는 것이죠.
팀닛 게브루가 설립한 DAIR(Distributed AI Research Institute)에서도 비슷한 글을 썼습니다. 팀닛 게브루는 구글 AI 윤리 팀에서 근무하다가 2020년에 LLM의 한계와 편향, 탄소배출량 문제를 지적한 확률론적 앵무새의 위험에 대하여라는 논문을 쓰고 해고당했었는데요. 이 글도 해당 논문의 저자들과 같이 썼습니다. 이들은 “AI Puase” Letter에 자신들이 동의하는 권장사항들이 없는 것은 아니지만, 즉 자신들이 중요하게 생각하는 이슈를 아예 다루지 않은 것은 아니지만, “공포 조장 행위와 소위 AI Hype가 그런 부분들을 덮어버리고 있으며, 강력한 ‘디지털 정신’과 ‘인간과 경쟁 가능한 지능’으로 논의를 돌려버린다”고 지적합니다.
이 글 역시 몇 군데를 번역해보았습니다. (👉 전문)
이 서한은 오늘날의 AI 시스템의 지속되는 위험들을 아무것도 다루고 있지 않습니다. 그 위험들에는 1) 노동자 착취와 소수에게만 이익이 되는 제품을 만들기 위한 대량의 데이터 절도, 2) 억압적 시스템을 재생산하고 우리의 정보 생태계를 위협에 빠뜨리는 합성 미디어의 폭발적 생성, 3) 극소수 사람에게 권력이 집중됨으로써 발생하는 사회적 불평등의 악화 등이 포함되어 있죠.
지금 우리에게 필요한 것은 투명성을 강제하는 규제입니다. 우리가 인공 미디어를 접할 때는 그것이 명시되어 있어야 할 뿐 아니라, 이런 시스템을 만드는 조직들이 학습에 사용된 데이터와 모델 아키텍처를 문서화하고 공개하도록 요구받아야 합니다. 사용하기 안전한 도구를 만들 책임은 생성 시스템을 구축하고 배포하는 회사들에 있어야 하며, 이는 이러한 시스템들의 제작자들이 자신이 만든 제품이 가져 온 결과물에 책임을 져야 한다는 것을 의미합니다. 우리는 “그러한 결정이 선출직이 아닌 테크 리더들에게 위임되어서는 안 된다”라는 주장에 동의하지만, 그렇다고 “AI 여름”을 겪으면서 실리콘 밸리에게 재정적으로 의존하는 학계에 달려 있어도 안 된다고 생각합니다. AI 시스템에 가장 영향을 받을 사람들, 즉 “디지털 장벽”의 적용을 받는 이민자들, 특정 옷을 입도록 강요받는 여성들, 생성 시스템의 결과물을 필터링하는 일로부터 PTSD를 경험하는 노동자들, 기업 이익을 위해 작품을 도난당한 예술가들, 먹고 살기 위해 고군분투하는 긱 노동자들은 모두 이 논의에서 발언권을 가질 수 있어야 합니다.
언급하는 위협 하나하나가 구체적인 사례가 있는 현존하는 문제이기 때문에 관련된 취재기사, 영상, 책이나 연구 링크가 달려 있는데 문장 하나에 링크가 너무 많아서 좀 헛웃음이 나오더라고요. AGI 운운하는 사람들은 달 링크가 별로 없을 텐데…
무엇보다 이 글의 뒷부분에서는 서한이 마치 미래의 어마무시한 기술적인 진보와 그에 따른 경제사회적 파괴효과는 당연히 예정된 것이고 우리는 그것에 “적응해야” 한다는 식으로 말하는 것에 동의할 수 없다고 지적하는데, 생각해볼 만한 지적이라고 생각합니다. 만약에 지구에 소행성이 날아오고 그게 확실하다면 그건 우리가 받아들이고 그 문제에 맞는 대비를 해야죠. 하지만 AI는 소행성이 아니잖아요? 미래의 가상의 위협이 자연재해나 외부 습격이 아니라 우리가 만드는 기술이라면, 우리는 지금 단계에서도 얼마든지 그 과정에 적극적으로 개입할 수 있고 그래야 합니다.
근데 fast.ai 블로그 글에서 주장한 것처럼 서한에 서명한 사람들도 사실상 AGI 시대가 바로 오지는 않을 거라고 생각한다면, 대체 왜 저런 난리를 미리 치는 건가? 특히 기업들은 왜 그럴까? 라는 생각이 들 수 있는데 이 질문에 대해서 상당히 공감 가는 트윗스레드가 있어서 가져와봤습니다.
https://twitter.com/rcalo/status/1663613253430419457?s=20
- 지금 자신들의 비즈니스 모델에 크게 영향을 주지 않는 장기적인 문제로 사람들의 관심을 돌리려고
- AI가 매우매우매우 강력하다 라는 인상을 주려고! (자신들의 개발 결과물에 대한 과대광고)
같은 맥락일지 모르지만 Open AI의 CEO 샘 올트먼은 테크 리더들 중에서도 적극적으로 규제에 대한 찬성 발언을 하는 사람 중 하나입니다. 최근에는 미 상원 청문회에 출석해서 AI의 위협과 규제 필요성에 대해 증언을 했죠.
구독하고 있던 팟캐스트 겸 유튜브 에피소드에서 이 청문회 이야기를 다뤄 줘서 재미있게 들었습니다. 올트먼은 규제에 대한 필요성에 전반적으로 동의함으로써 기존 빅테크 회사들과 매우 다른 입장을 취했고, 의원들의 태도도 예전 저커버그의 청문회 떠올리면 아주 대비될 정도로 호의적이었다고 합니다. 저는 청문회 영상을 다 보지는 않았고 이 에피소드에서 편집된 부분만 일부 들었는데, 심지어 한 의원이 올트먼에게 “만약 AI 규제를 위한 위원회를 만들면 위원장을 맡아줄 생각이 있느냐”고 묻고 올트먼이 “전 제 지금 일이 좋아서 안 하겠다”고 하자 “그러면 추천인 리스트라도 보내줄 수 있어요?(질척)” 하는 걸 보고 뭔가.. 어디서 본 것 같은.. 면접이 엄청 잘 흘러갈 때의 그 훈훈한 분위기랑 똑같다고 느꼈네요.
하지만 청문회가 분위기 좋자고 모이는 자리는 아니니까요. 안타깝게도 이 청문회에서도 AI의 실질적인 위협과 규제에 대한 논의는 거의 다뤄지지 않았습니다. 올트먼은 AI가 가져올 위험성을 심각하게 생각하고 있으며 규제가 필요하다고 몇 번이나 말한 것과는 별개로, 구체적인 질문에 대해서는 어떤 답도 내놓지 않고 넘어가는 모습을 보였고 (AI가 군사적 기술로 이용되는 것도 가능한 거 아니냐고 하니까 가능은 하다고 한 다음에 해결책은 한 마디도 얘기하지 않는 등) 규제의 대상은 현재의 AI나 관련 기술이 아닌 ‘앞으로 다가올’ AGI에 대한 것이라고 선을 긋기도 했습니다.
듣다 보니 사실상 현재 규제에 대한 논의가 거의 마련되지 않은 상태인 걸, 그리고 현재 자신이 상대하는 의원들도 별 개념이 없다는 걸 인지한 상태에서 일단은 규제 해야지. 해줘. 난 찬성한다니까. (AGI 나오면…) 같은 느낌이더라고요. Open AI는 규제를 논하기에는 이미 레이스에서 상당히 유리한 위치를 차지하고 있다는 점도 고려해야겠고요.
무엇보다 좋은 분위기 속에서 의원들도 그렇게까지 강한 질문들은 던지지 않는 느낌이었습니다. 질문 주제도 가짜 뉴스에 대한 질문이 대다수라 AI가 그냥 좀 발전된 종류의 소셜 미디어인 줄 아는 건가? 싶었다는 평도 있더라고요. 이런 자리에서 가장 날카롭게 질문해야 할 정치인들이 사실 이 분야에 대해 지식이 많이 부족한데, 보면서 뭐 AI가 어떻게 작동하는 건지 전문가처럼 이해해야 할 필요는 당연히 없지만 현재 AI가 어느 정도의 수준이고 어떤 것들을 할 수 있는지에 대한 기본적인 지식은 있어야 하는 거 아닌가 라는 생각, 그리고 이건 단순히 이 청문회 자리에서만의 한계는 아니라는 생각을 했습니다. 앞으로 실질적인 문제들을 해결해 나가야 할 때 정책과 법을 만들어야 할 사람들이 문제를 제대로 인식하지 못하고, 규제가 적용되어야 할 기업들만 모든 정보와 지식을 들고 있는 상황이 될 테니까요.
마지막으로 글이 길어져서 더 다루지는 않았지만 최근에 재미있게 읽었던 것들을 덧붙입니다.
- 위 에피소드에 출연한 조경현 뉴욕대 교수(요슈아 벤지오와 NMT 의 개념을 만드신)의 인터뷰 : Top AI researcher dismisses AI ‘extinction’ fears, challenges ‘hero scientist’ narrative
- 공개서한에 대한 내용과 청문회 이야기를 포함하여 과학 영웅주의와 종말론의 부정적인 영향을 언급
- 스탠퍼드의 빅테크 시대의 윤리학 강의를 기반으로 낸 책: 시스템 에러
- 21년 책이라 완전 최신 이슈까진 포함하지는 않지만 공정성, 개인정보 보호, 자동화와 일자리, 표현의 자유 등의 주제를 다룸