폴리글롯(Polyglot), 안정적인 다중언어 모델 개발 목표에 한 걸을 다가서는 한국어 GPT 모델 출시
스태빌리티 AI (Stability AI) 산하의 일루서AI (EleutherAI) 내부 팀인 폴리글롯에서 영어 중심적이지 않은 집중적 다중언어 모델 생성의 전망에 기여하는 한국어 GPT 모델 오픈소스 세트를 출시하였습니다.
Created on September 30|Last edited on October 16
Comment
사전 트레이닝 모델 웨이트와 폴리글롯-KO의 모델 카드 그리고 트레이닝 실행 (Weights & Biases에서 실행)으로 이동하는 링크는 이들의 GitHub 보관소에서 찾아보실 수 있습니다. 현재, 폴리글롯-KO는 1.3B와 3.8B 용량으로 제공되며 6.7B 용량의 모델이 곧 출시될 예정입니다. 모델의 기준점이 현 공공적으로 이용 가능한 모델 중 가장 최고의 모델과 비교했을 때 동등하거나 더 뛰어난 성과를 보였습니다
이 한국어 모델들은 이들의 대중적인 동아시아 언어 (영어 포함)에 집중된 첫 다중언어 모델을 생성하는 목표에 다가서는 첫 걸음입니다.
폴리글롯은 덜 영어 중심적인 다중언어 모델을 만듭니다
폴리글롯 팀에선 최근 구축되는 언어 모델들이 크기가 큼에 문제점을 보고 있습니다. 점점 더 많은 모델들이 최대한 많은 언어들을 포함하려는 목적을 가져왔으나 트레이닝이 이루어지는 데이터베이스엔 불균형적으로 영어의 비중이 높습니다.
영어 트레이닝 데이터가 과하게 넘치는 반면 여러가지 다른 언어에 집중하려 하며, 이러한 모델들은 중점을 잃고 영어에 치중하는 바람에 표면적으로만 다른 언어들을 지원한다 하며 실제론 많은 언어들을 소량의 트레이닝 데이터로 방치했습니다.
다중언어 모델들을 덜 영어 중심적으로 만들고 영어 외의 다른 언어들의 수행 능력을 높여 여러 언어에 골고루 집중하려는 목표와 함께 폴리글롯 팀은 좀 더 균형 잡힌 데이터를 가진 다중언어 모델을 생성하는 데에 헌신할 것입니다. 폴리글롯의 모델은 높은 시너지를 가지고 있을 수도 있는 서로 밀접한 언어들에 집중하기 위해 다수의 언어들을 동시에 커버하는 작업에 들어갈 것입니다.
더 알아보기
Add a comment
Tags: ML News
Iterate on AI agents and models faster. Try Weights & Biases today.