CoreWeave AI Object Storage로 나만의 버킷 가져오기
CoreWeave AI Object Storage와 Weights & Biases 간의 새로운 통합을 소개합니다. 알아두면 좋은 사항은 다음과 같습니다
이 글은 AI가 번역한 기사입니다. 오역이 의심되는 부분이 있다면 댓글로 알려주세요
Created on September 15|Last edited on September 15
Comment
Weights & Biases에 기록되는 파일과 아티팩트를 위한 스토리지 공급자로 CoreWeave AI Object Storage를 추가했습니다. 이를 통해 대규모 학습과 파인튜닝 작업에서 보안이 보장되는 초고속 데이터 로딩과 모델 체크포인팅이 가능해집니다.
그림 1: Weights & Biases에서 CoreWeave AI Object Storage 구성하기
대규모로 AI 모델을 학습하고 파인튜닝할 때는 데이터셋 로딩과 중간 체크포인트 저장이 최대한 빠르게 이루어져야 합니다. 그렇지 않으면 소중한 GPU 자원과 AI 엔지니어의 시간을 낭비할 수 있습니다. 데이터 액세스를 가속하는 것은 실험 속도를 높이는 데도 중요하며, 여러 번의 실행에서 발생하는 지연이 누적되면 수주에서 수개월까지 길어질 수 있습니다.
이런 이유로 CoreWeave AI Object Storage와 Weights & Biases 간의 새로운 통합을 소개합니다. 이제 Weights & Biases의 BYOB(bring-your-own-bucket) 기능을 CoreWeave AI Object Storage와 함께 사용할 수 있습니다. 이는 AI 워크로드에서 처리량 성능을 최대화하도록 특별히 설계된 업계 최초의 관리형 오브젝트 스토리지 서비스입니다. 이번 통합을 통해 아티팩트와 기타 민감한 데이터를 기존의 CoreWeave 클라우드에 직접, 안전하게 저장할 수 있습니다.
민감한 워크로드를 위한 BYOB(Bring Your Own Bucket)
W&B Models의 전용 단일 테넌트 및 SaaS 다중 테넌트 배포에서 BYOB를 사용하면, 버킷에 저장된 데이터가 Weights & Biases가 관리하는 인프라로 복사되지 않아 고도의 민감한 데이터에 대한 엄격한 기준을 충족할 수 있습니다. BYOB를 사용할 경우, 실험 파일, artifacts, 미디어(이미지, 동영상, 오디오), 실행 파일, 그리고 Parquet 형식으로 내보낸 기록 지표와 시스템 이벤트가 모두 귀하의 버킷에 안전하게 유지되어 필수적인 데이터 격리와 보안을 제공합니다.
기존에는 BYOB가 Amazon S3, Microsoft Azure, Google Cloud Platform 버킷을 지원했으며, 오늘부터 AI 워크로드에 최적화된 최신 스토리지인 CoreWeave AI Object Storage를 추가해 선택지를 확대했습니다. Weights & Biases BYOB에 대해 더 알아보기.
CoreWeave AI Object Storage란 무엇이며, 왜 중요한가?
CoreWeave AI Object Storage는 GPU 집약적인 AI 모델 학습�� 추론을 위해 특별히 설계된 엑사바이트급 Amazon S3 호환 스토리지 플랫폼입니다. 수십만 개의 GPU까지 확장할 수 있어, 기업이 대규모 언어 모델(LLM)과 기타 파운데이션 모델을 더 빠르게 학습할 수 있습니다. 이러한 가속 성능은 학습 시간을 단축하고 전체 비용을 절감하여 반복과 혁신 주기를 앞당깁니다.
CoreWeave AI Object Storage는 CoreWeave의 Local Object Transport Accelerator(LOTA™)와 함께 사용할 수 있으며, LOTA™는 오브젝트를 GPU 노드의 로컬 디스크에 직접 캐시하고 사전 스테이징하여 데이터 액세스를 가속합니다.
그림 2: Local Object Transfer Accelerator
CoreWeave AI Object Storage의 주요 이점은 다음과 같습니다:
- 고성능 결과수십만 개의 GPU 규모에서도 GPU당 최대 2 GB/s의 처리량으로 GPU당 성능을 크게 끌어올리세요.
- 더 큰 용량수조 개의 오브젝트와 엑사바이트급 데이터까지 확장합니다.
- 높은 신뢰성가동 시간 99.9%와 내구성 11 9’s의 이점을 확보하여, 팀이 모델을 초고속으로 시장에 출시할 수 있습니다.
- 컴플라이언스 및 지원CoreWeave AI Object Storage는 표준 S3 인터페이스를 사용하며 오픈 소스 S3 SDK를 지원합니다.
- 손쉬운 통합CoreWeave Kubernetes Service(CKS) 및 SSO/SAML과의 긴밀한 통합.
- 보안 내장인증 및 역할 기반 액세스 정책. 저장 중과 전송 중 암호화.
Weights & Biases에 CoreWeave AI Object Storage 도입
이제 W&B Models 전용 클라우드 배포에서 지원되는 스토리지 형식으로 CoreWeave AI Object Storage 버킷을 구성할 수 있습니다. 곧 SaaS 멀티 테넌트 클라우드 배포도 지원될 예정입니다.
W&B Models에서 객체 스토리지 버킷으로 CoreWeave AI Object Storage를 사용하면, 최소한의 코드 변경만으로 고성능 스토리지를 활용할 수 있습니다. 팀 또는 인스턴스에 구성한 후에는 아티팩트와 파일이 자동으로 CoreWeave 클러스터에 저장됩니다. 또한 참조 아티팩트와 함께 LOTA™를 활용하면 데이터셋이나 모델 체크포인트를 다운로드할 때 최대 처리량을 달성할 수 있습니다.
BYOB에 대해 자세히 알아보기 문서의 데이터 보안 섹션Weights & Biases 지원팀에 문의하려면 support@wandb.com BYOB 제공자로 CoreWeave AI Object Storage를 설정하는 데 도움이 필요하신가요?
Add a comment