OpenAI의 Miles Brundage 인터뷰
이 글에서는 Miles Brundage가 추진해 온 책임 있는 AI 개발과 그 사회적 영향에 대해 살펴봅니다. 이 글은 AI 번역본입니다. 오역이 있을 수 있으니 댓글로 알려 주세요.
Created on September 15|Last edited on September 15
Comment
Miles Brundage는 OpenAI 정책 팀의 연구 과학자로, 인공지능이 사회에 미치는 영향과 그 영향이 바람직한 방향으로 나아가도록 보장하는 방법을 연구한다. 그의 연구는 책임 있는 혁신, 개발, 그리고 AI의 거버넌스를 포함한다. 또한 그는 AI가 유익하게 또는 악의적으로 사용될 수 있는 방식에 주목한다. 그의 가장 중요한 업적 중 하나는 대중적으로 널리 알려진 모델의 공개 전략을 수립하는 데 기여한 것이다. GPT-2 모델
이 글의 목표는 지난 세월에 걸친 그의 작업을 조명하고, 그의 연구와 그 연구가 AI 커뮤니티에 미친 영향에 대해 더 깊이 알아보는 것이다.
목차
목차1. 단계적 공개2. 파트너십3. 참여 및 교류책임 있는 AI 개발의 이점과 비용책임 있는 AI 개발을 위한 집단적 행동의 필요성AI 산업의 안전 협력을 강화하기 위한 전략결론
언어 모델의 공개 전략과 사회적 영향
2019년 2월, OpenAI는 대규모 GPT-2를 공개하며 NLP 분야를 뒤흔들었다. 언어 모델 문단 생성에 사용되었습니다. GPT-2는 매우 폭넓은 이점을 제공했습니다. 이 모델은 문법 교정에 도움을 주고, 시를 생성하며, 코드와 문장을 자동 완성하는 등 다양한 용도로 활용될 수 있습니다. 이렇게 모델이 다재다능하고 응용 범위가 넓어지도록 하기 위해, 800만 개의 웹 페이지로 구성된 대규모 데이터셋으로 학습되었습니다.
에 있는 샘플들 그들의 웹사이트 모델이 얼마나 뛰어나게 작동하는지 보여 주었습니다(개인적으로 가장 흥미로웠던 사례는 네 개의 뿔을 가진 은백색 유니콘 이야기였습니다). 그러나 이런 모델은 악의적인 목적으로도 사용될 수 있습니다. 예를 들어 가짜 뉴스 생성, 온라인에서의 신원 사칭, 소셜 미디어에서의 공격적 콘텐츠 생산 등이 있습니다. 이러한 모델을 공개할 때의 위험을 인식한 OpenAI는 GPT-2가 부정적인 사회적 영향을 미치지 않도록 여러 조치를 취했습니다. 이제 그 세 가지 주요 조치를 살펴보겠습니다.
1. 단계적 공개
OpenAI는 1억 2,400만 개의 파라미터로 구성된 가장 작은 모델부터 약 15억 개의 파라미터로 구성된 가장 큰 모델까지, GPT-2의 네 가지 변형을 개발했다. 인공지능 분야에서는 일반적으로 모델이 클수록 성능이 좋아지는 것이 잘 알려져 있다. 즉, 가장 큰 변형은 더 작은 변형보다 성능과 이점이 더 크지만, 그만큼 오용될 가능성도 더 크다는 뜻이다.
잠재적 오용을 방지하기 위해 OpenAI는 단계적 공개 절차를 마련했다. 해당 공개 일정은 아래와 같다:
- 2019년 2월: 1억 2,400만 개 파라미터 모델
- 2019년 5월: 3억 5,500만 개 파라미터 모델
- 2019년 8월: 7억 7,400만 개 파라미터 모델
- 2019년 11월: 15억 개 파라미터 모델
- 이후 여러 대학과 기업들이 이러한 공개 전략을 채택했다.
2. 파트너십
OpenAI는 GPT-2를 연구하기 위해 네 곳의 선도 기관과 파트너십을 맺었다. 아래는 이러한 파트너십을 설명한 논문의 발췌문이다:
다음 기관들과 협력하여 GPT-2를 연구하게 되어 매우 기쁩니다:
이러한 파트너십의 가장 영향력 있는 성과 중 하나는 이번 연구를 수행하기 위해 기관들이 체결한 법적 합의서의 일반화된 버전을 공개한 것이다. 앞으로 몇 년간 책임 있는 AI 개발을 보장하기 위해 파트너십이 핵심적 역할을 하게 될 것이므로, 이러한 합의서는 매우 중요해질 것이다.
3. 참여 및 교류
OpenAI는 AI 커뮤니티 구성원, 연구자, 활동가들과 GPT-2의 영향에 대해 논의했다. 또한 ICLR의 AI for Social Good 워크숍에서 GPT-2와 단계적 공개 전략에 관해 발표했다. 아울러 Partnership on AI에도 기여했다.
OpenAI는 소형 버전의 GPT-2가 악용되는 유의미한 조짐을 발견하지 못했다. 이로 인해 2019년 11월에 가장 큰 GPT-2 모델을 공개할 수 있다는 확신을 얻었다. 모델이 윤리적으로 사용되도록 선제적 모니터링은 여전히 필요하지만, GPT-2는 AI 응용 분야의 전혀 새로운 세상을 열어 준다.
책임 있는 AI 개발에서 협력의 역할
GPT-2에서 한걸음 물러나 더 큰 그림, 즉 민간 영역의 AI 개발 전반을 살펴보고, 이를 어떻게 책임 있게 수행할 수 있을지 논의해 보자.
책임 있는 AI 개발이란 무엇인가?
브런디지는 또한 책임 있는 AI 개발을 다음과 같이 정의한 논문(아만다 애스켈 주도)에도 기여했다. AI 시스템이 사용자나 사회에 해를 끼칠 위험을 수용 가능한 수준으로 낮추고, 더 나아가 사회적 이익을 낳을 가능성을 높이기 위한 조치를 취하는 것.
책임 있는 AI 개발은 처음부터 끝까지 이어지는 전 과정이다. 개발 단계에서 안전성과 보안을 검증하고, 출시 전에 잠재적 위험과 사회적 영향을 평가하며, 사람들에게 위험을 초래하는 경우에는 과감하게 프로젝트를 변경하거나 중단할 준비가 되어 있어야 한다.
책임 있는 AI 개발을 받아들이고 도입하는 데에는 기업과 조직에 일정한 비용이 따른다.
책임 있는 AI 개발의 이점과 비용
책임 있는 AI 개발을 보장하는 데 비용이 들 것이라는 사실은 놀랍지 않다. 이 비용은 시스템의 안전성과 보안을 확보하기 위해 더 많은 시간과 자금을 투입하는 형태로 나타날 수 있다.
저자들은 한 기업이 가장 먼저 개발에 성공하면 상당한 이익을 얻는다는 ‘선도자’ 개념을 설명한다. 기술을 특허로 보호할 수 있다면 이는 사실이다. 그러나 이러한 선도자 이점이 항상 존재하는 것은 아니다. 명확한 최종 목표가 없는 AI와 같은 분야에서는 그 이점이 크지 않다. 기업들은 최첨단 기술을 개발하기 위해 끊임없이 경쟁하고 있으며, 이들 기업 간의 미세한 격차 또한 큰 우위를 만들어 내지 못한다.
AI에서 선도자 이점이 약하거나 존재하지 않는다면, 속도의 가치가 낮아지므로 기업들이 안전성 측면에서 바닥을 향한 경쟁에 나설 가능성도 줄어든다. 이 논문은 예측을 제시하기보다는, 적어도 어느 정도의 선도자 이점이 존재하는 보다 비관적인 시나리오를 분석한 것으로 보는 편이 타당하다.
그러나 기업이 책임 있는 AI 개발을 도입하면 얻을 수 있는 이점도 있다. 제품 안전은 역사적으로 시장의 힘에 크게 의해 추진되어 왔다. 이 안전이 훼손되면 막대한 비용을 초래할 수 있는 평판 손실로 이어질 수 있다. 또한 책임법과 규제는 제품이 안전하게 사용될 수 있도록 보장하는 데 추가적인 역할을 한다.
그렇다면 우리가 던져야 할 질문은 다음과 같다. 현재의 책임 있는 AI를 위한 인센티브만으로 충분한가?
저자들은 이 질문에 다섯 가지 측면에서 답한다. 본 보고서에서는 간략히만 언급하지만, 논문에서는 훨씬 더 깊이 있게 설명되어 있다.
저자들은 제품 안전이 주로 시장의 힘, 책임법, 그리고 산업 또는 정부 규제에서 비롯된다고 본다. 그러나 다음의 다섯 가지 주요 이유 때문에 이러한 요소들만으로는 책임 있는 AI 개발을 보장하기에 충분하지 않을 수 있다.
- AI 시스템이 점점 복잡해지면서, 소비자들이 이러한 시스템의 안전성을 평가하기가 어려워지고 있다. 신경망이 어떻게 예측을 도출하는지 설명하기 어렵다는 사실은 이러한 난점을 더욱 가중시킨다.
- 머신러닝 모델을 해석하기 어렵기 때문에, 그것들이 왜 실패하는지 예측하기도 어렵다. 따라서 규제기관조차 제품이 얼마나 안전한지, 또는 얼마나 위험한지 평가하기가 쉽지 않다.
- 저자들은 AI 제품으로 인한 피해가 제3자에게 영향을 미칠 가능성이 높다고 설명한다. AI 시스템에서 발생하는 피해는 내부화하기 어렵다. 더불어 장기적 영향과 피해에 대해서는 어느 한 기업에게도 전적으로 책임을 묻기 어렵다.
- 현재 정부와 산업계 모두에서 AI 규제가 부족하다. 규제를 제대로 마련하려면 규제 당국이 AI에 대해 깊이 이해해야 하므로 쉽지 않다.
- 일부 사람들은 AI 발전이 단절적으로 이루어질 것이라고 예측해 왔다. 이는 빠른 진전의 단계를 거친 뒤, 어느 기업이 큰 도약을 이룰 수 있다는 뜻이다. 다른 기업들이 동일한 수준의 진전에 도달하는 데에는 수년이 걸릴 수 있다.
책임 있는 AI 개발을 위한 집단적 행동의 필요성
앞선 섹션들은 안전하고 사회적으로 안전한 AI 시스템을 개발하는 것이 유익하며, 그로 인한 이점이 비용을 상회한다는 점을 보여준다. 그러나 현재와 같이 제품 개발을 둘러싼 기업 간 경쟁이 극도로 치열한 상황에서는, 기업들이 안전성을 경시하고 책임 있는 개발을 보장하기 위한 자원 투자를 줄이는 결과로 이어질 수 있다.
기업이 책임 있는 AI 개발에 어느 정도 협력하려 할지를 이해하기 위해, 저자들은 협력-배신 게임의 보상 행렬을 제안한다. 논문의 발췌문에서는 이 행렬을 다음과 같이 추가로 정의한다:
""두 명의 행위자(AI 기업)가 협력(책임 있게 개발)하거나 배신(책임 있게 개발하지 않음)할 수 있는 협력-배신 게임의 보상 행렬을 생각해 보자. 여기서 각 쌍의 첫 번째 문자는 행위자 1의 기대 보상을, 두 번째 문자는 행위자 2의 보상을 나타낸다.
Cooperate Defect Cooperate a1,a2a_1,a_2 b1,b2b_1,b_2 Defect c1,c2c_1,c_2 d1,d2d_1,d_2
*Let 행위자 1이 행위자 2의 협력에 부여하는 확률을 …라고 하고, 또한… 행위자 2가 행위자 1의 협력에 부여하는 확률이라고 하자. 우리는 다음을 가정한다. 협력의 기대값(행위자 2가 협력할 가능성 × a1 + 행위자 2가 배신할 가능성 × b1)이 배신의 기대값(행위자 2가 협력할 가능성 × c1 + 행위자 2가 배신할 가능성 × d1)보다 크다면, 행위자 1이 협력하는 것이 합리적이다. 동일한 가정이 행위자 2에도 적용된다고 본다."
논문 저자들은 책임 있는 AI 개발을 집단행동 문제로 본다. 그들은 협업과 협력을 촉진할 다섯 가지 핵심 요인을 제시한다.
- 높은 신뢰: 다른 사람들이 협력할 것이라는 확신 높이기
- 공동 이익: 상호 협력에 더 높은 기대값을 부여하기 ()
- 노출 최소화: 보답 없는 협력에 더 낮은 기대 비용을 부여하기 ()
- 이점 낮음: 상호 협력을 보답하지 않는 선택에 더 낮은 기대값을 부여하기 ()
- 공유되는 손실: 상호 비협력에 더 낮은 기대값을 부여하기 ()
AI 산업의 안전 협력을 강화하기 위한 전략
저자들은 위에서 언급한 요인들에 비추어 편익이 큰 네 가지 전략을 제시하며, 이를 통해 안전 분야에서의 협력을 높일 수 있다고 본다.
- 협력 기회의 실상에 대한 정확한 인식을 확산하기
- 오해를 바로잡아 협력을 개선하고 강화하는 일은 언제나 유익하다. 여기에는 안전과 보안 위험을 무시해도 된다는 오해도 포함된다.
- 공동의 연구 및 엔지니어링 과제에 협력하기
- 저자들은 연구 협력이 다음과 같은 높은 편익을 제공할 수 있다고 설명한다. 기술적 통찰을 얻고, 공동 투자에 대한 공개 정보와 대면 대화를 통해 누가 무엇을 하고 있는지에 대한 기대를 안정화하며, AI가 제공하는 공동의 이점을 구체화하고, 더 바람직한 출판 및 배포 의사결정을 확립하는 데 기여한다는 것이다.
- AI 개발의 더 많은 측면을 적절한 감독과 피드백에 개방하기
- 높은 안전 기준 준수를 유도하기
- 오늘날 존재하는 인센티브나 앞으로 생길 수 있는 인센티브에 언제든 추가 인센티브를 더할 수 있다. 예시는 다음과 같다:사회적 인센티브 특정 결정에 대해 비판하거나 긍정적으로 평가하는 일은 다른 기업들의 관행과 인식이 바뀌는 데 도움이 될 수 있다.경제적 인센티브 정부, 산업계, 또는 조직 차원에서 특정 규범의 채택을 장려할 수 있다.법적 인센티브 부정 행위를 저지르는 기업에 제재를 가함으로써. 도메인별 인센티브 예를 들어 최신 컴퓨터 하드웨어에 조기 접근 권한을 제공하는 것.
결론
AI 개발 속도가 빨라지는 만큼, 우리가 만드는 기술이 사회에 부정적 영향을 미치지 않도록 하는 것이 중요하다. 불확실성과 초고속 개발이라는 AI의 특성상, 모든 소비자의 안전과 복지를 보장할 수 있도록 더 강력한 규제가 필요하다. 따라서 차세대 AI 애플리케이션을 발명하는 개인과 조직 사이에서 신뢰를 구축하고 협력을 촉진할 수 있는 방법을 찾아 개발해야 한다.
책임 있는 AI 개발과 그 사회적 영향에 대해 어떻게 생각하시나요? 마일스에게 궁금한 점이 있나요? 아래 댓글에 적어 주세요!
Add a comment