Aleph Alpha, W&B를 통해 유럽 최고의 LLM 구축
"W&B는 모든 프로젝트에 대한 간략한 정보를 제공합니다. 실행을 비교하고 한곳에 모두 집계하여 무엇이 잘 작동하고 다음에 무엇을 시도할지 직관적으로 결정할 수 있습니다."
Samuel Weinbach
VP of Technology
EU에서 AI 가속화
대부분의 주요 대형 언어 모델 개발자는 미국에 기반을 두고 있지만 독일에는 서구와 경쟁할 수 있는 유망 회사가 적어도 하나 있습니다. 맞습니다. 우리는 Aleph Alpha에 대해 이야기하고 있습니다.
하이델베르그에 본사를 둔 이 스타트업은 자체적인 대규모 언어 모델 제품군을 개발했습니다. Aleph Alpha의 최신 벤치마크 결과에서 그들은 그들의 모델이 OpenAI의 GPT-3, Big Science의 BLOOM 및 Meta의 OPT와 유사하다는 결론에 도달했습니다.
.
.
예상할 수 있듯이 LLM 교육에는 상당한 양의 리소스, 시간 및 실험이 필요합니다. ML 노력을 확장하고 가속화하는 방법을 찾는 것이 Aleph Alpha의 우선순위가 되었습니다. 무게 & Biases의 확장성이 뛰어나고 강력하며 협업적인 환경은 Aleph Alpha가 최첨단 LLM을 구축하는 데 도움이 되는 확실한 솔루션이 되었습니다.
Unlocking Explainability
향상된 성능 외에도 Aleph Alpha를 경쟁업체와 차별화하는 독특한 판매 포인트는 투명성과 추적성에 대한 회사의 초점입니다. 올해 초 Aleph Alpha는 LLM 결과를 사용자가 더 쉽게 해석할 수 있도록 하기 위해 “설명” 기능을 도입했습니다. 이 새로운 기능을 통해 시스템은 출력에 대해 추론하고 사용자에게 모델의 의사 결정 프로세스에 대한 통찰력을 제공할 수 있습니다.
.
.
새로운 운영 모드
Aleph Alpha 초기에 팀은 창립자와 몇몇 다른 연구원으로 구성되었습니다. 오픈 소스 플랫폼은 그 당시 요구 사항을 충족했지만 더 많은 실험을 실행하고 더 큰 모델을 교육하기 시작하면서 이러한 도구는 빠르게 부족해졌습니다. 이는 Aleph Alpha가 당시 가장 큰 모델인 13B 매개변수 모델을 훈련할 때 특히 분명했습니다. 현재로서는 실제로 해당 제품군 중 가장 작은 모델입니다.
“이전 솔루션은 우리가 실행 중인 수많은 실험에 비해 확장성이 좋지 않았습니다.”라고 Aleph Alpha의 기술 부사장인 Samuel Weinbach는 말했습니다. “관리가 느리고 지루해졌으며, 실험 비교 능력도 제한적이었습니다.”
동료의 강력한 추천으로 Samuel은 대규모 실험의 추적 및 전반적인 관리를 개선하기 위해 W&B를 선택했습니다. W&B 플랫폼의 대화형 시각화 및 사용자 정의 가능한 UI를 통해 팀은 엔드투엔드 LLM 운영에 대한 전체적인 시각을 쉽게 얻을 수 있었습니다. 모델 성능에 대한 이러한 수준의 통찰력을 통해 그들은 가설을 신속하게 반복하고 어떤 하이퍼파라미터와 모델 아키텍처가 가장 잘 작동하는지 실시간으로 확인할 수 있었습니다.
“W&B gives us a concise look at all projects. We can compare runs, aggregate them all in one place and intuitively decide what works well and what to try next,” said Samuel.
과거에는 전체 시스템 활용도에 대한 가시성을 확보함으로써 하드웨어 최적화에 엄청난 도움이 되었습니다. 팀은 GPU 리소스를 너무 많이 사용하고 있는지, 훈련 병목 현상이 발생하는 곳은 어디인지, 최적의 배치 크기는 얼마인지 등의 질문에 답할 수 있습니다. LLM 교육은 리소스 집약적인 노력이므로 W&B는 Aleph Alpha가 컴퓨팅 인프라를 효율적으로 극대화하도록 보장했습니다.
오늘날 Aleph Alpha는 같은 생각을 가진 12명 이상의 개인으로 구성된 성장하는 팀입니다. LLM 교육을 가속화하려면 협업을 촉진하고 장려하는 것이 중요합니다. 그들은 결과와 피드백을 공유할 수 있어야 하고 모든 프로젝트 지식이 중앙 집중화된 단일 장소를 가질 수 있어야 합니다. W&B 공유 작업 공간을 통해 모든 작업의 중앙 허브를 만들어 원활한 의사소통을 지원하고 아이디어 생성을 촉발하며 LLM 개발 라이프사이클의 모든 단계에서 투명성을 창출합니다.
“모든 사람이 프로젝트에 대해 같은 생각을 가지고 있습니다.”라고 Samuel은 말했습니다. “우리는 그래프, 메모, 조사 결과를 쉽게 공유할 수 있습니다.
.”
.”
Reimagining the LLM Landscape
LLM이 인공 지능의 세계를 강타했지만 대부분의 회사는 이러한 모델을 교육할 수단이 없으며 기술 제공업체로서 기존 기술 회사에 의존하고 있습니다. 그러나 생성적 AI 스타트업의 새로운 물결이 LLM 환경에서 자신만의 공간을 개척하고 있으며 Aleph Alpha는 의심할 여지 없이 이러한 신흥 플레이어 중 하나입니다.
LLM 교육의 운영 과제를 해결하기 위해 Aleph Alpha는 진화하는 실험을 관리하고 효율적인 교육을 지원하며 의미 있는 협업을 촉진할 수 있는 포괄적인 플랫폼이 필요합니다. 현재까지 팀은 W&B를 사용하여 271,000시간 동안 62,000개의 모델을 훈련했으며, 가장 긴 훈련 실행 시간은 960시간입니다. W&B를 선택한 것은 LLM 교육을 효율적으로 확장하고 Aleph Alpha를 국제 AI 환경의 최전선에 세우는 열쇠였습니다.
.
.