최신 W&B SDK 성능 향상을 발표합니다
wandb-core의 성능을 대폭 향상했습니다. 새로운 변경 사항과 최신 개선점을 활용하는 방법을 확인해 보세요. 이 글은 AI 번역본입니다. 오역이 있을 수 있으니 댓글로 자유롭게 알려 주세요.
Created on September 15|Last edited on September 15
Comment
💡
완전히 재설계된 wandb-core가 이제 공개 프리뷰로 제공됩니다.
wandb-core는 W&B SDK를 구동하는 고급 백엔드로서, Weights & Biases SDK새로운 wandb-core는 메모리와 CPU 사용량을 줄이고, 시작, 종료, 오프라인 동기화 같은 작업을 더 빠르게 수행하며, 특히 자원 경합이 높은 환경에서 더 안정적인 동작을 제공합니다.
가장 중요한 개선 사항은 다음과 같습니다:
- 더 낮은 시스템 자원 사용량메모리와 파일 디스크립터 사용량을 줄여 전반적인 효율을 향상했습니다.
- 시스템 견고성자원 경합이 높은 시스템에서의 안정성 향상.
- 시작/종료 성능더 빠른 시작 및 종료 시간, 특히 짧은 실험에서 효과적입니다.
- 병렬 실행 성능: 병렬 작업에서 더 효율적인 CPU 사용과 더 높은 성능.
- 더 높은 성능의 파일 로깅더 빠르고 효율적인 로깅 작업입니다.
- 필스트림의 네트워크 활용률더 효율적인 데이터 관리로 네트워크 데이터 전송량을 줄입니다.
- 오프라인 동기화 속도장시간 실행되는 실험에서 오프라인 동기화 속도가 더 빨라졌습니다.
벤치마크
재설계된 wandb-core의 정량적 이점을 입증하기 위해 시작/종료 성능, 병렬 실행 성능, 로깅에 초점을 맞춘 일련의 벤치마크를 수행했습니다(참고로 SDK는 온라인 모드와 오프라인 모드를 지원합니다). 오프라인 로깅은 실험 실행과 백엔드 서버로의 데이터 동기화를 분리할 수 있게 해줍니다. 각 모드에 대해 벤치마크를 실행했습니다.
시작/종료 성능
실험을 시작할 때, 실험을 안정적으로 추적하기 위한 초기 설정 비용이 발생합니다. 실험의 시작과 종료에 생기는 지연은 SDK 오버헤드이며, 이는 원래 모델 학습에 사용할 수 있었던 연산 자원을 잠식합니다. 이러한 오버헤드는 매우 짧은 실험(수 초 단위)에서 특히 두드러집니다. 우리는 새로운 SDK를 사용했을 때 오버헤드가 얼마나 줄어드는지 파악하고자 했습니다.
병렬 실행 성능
SDK는 동시에 여러 실험을 추적할 수 있습니다(예: Python multiprocessing 사용). 우리는 새로운 SDK를 사용했을 때 병렬 실험이 얼마나 더 효율적인지 파악하고자 했습니다.
테이블 로깅
W&B Tables는 wandb UI에서 정밀한 분석을 가능하게 하는 중요한 데이터 타입입니다. 우리는 새로운 SDK를 사용할 때 테이블 로깅이 얼마나 더 효율적인지 파악하고자 했습니다.
| Metric | Mode | Improvement with wandb-core |
|---|---|---|
| Startup/Shutdown Time | Offline | 36% improvement |
| Startup/Shutdown Time | Online | 23% improvement |
| Parallel Scalar Logging Performance | Offline | 83% improvement |
| Parallel Scalar Logging Performance | Online | 88% improvement |
| Table Logging Performance | Offline | 18% improvement |
| Table Logging Performance | Online | 40% improvement |
아티팩트
개편의 또 다른 목표는 개선을 돕는 것이었습니다 아티팩트 업로드/다운로드 고객 피드백을 바탕으로 성능을 개선했습니다. 이제 wandb-core는 데이터 전송 속도를 최적화하여 아티팩트 업로드와 다운로드에 걸리는 시간을 크게 줄였습니다.
예를 들어, 10MB 아티팩트를 다운로드하는 데 이전 백엔드에서는 6.67초가 걸렸지만 이제는 2.81초면 됩니다. 이는 데이터셋, 모델 등 대용량 아티팩트를 더 효율적으로 관리하여 지연을 줄이고 워크플로를 개선한다는 뜻입니다. 우리는 아티팩트 업로드 시간은 일관되게 33% 빨라지고, 다운로드 시간은 28% 빨라지는 결과를 확인했습니다.
시작하기
이제 모든 사용자에게 wandb-core가 기본으로 활성화됩니다. 확인해 보세요 노트북 시작하는 방법과 문의 사항은 지원팀으로 연락하세요: support@wandb.com 문의 사항이 있으시면
Add a comment