AI의 안전성, 품질, 효율성 강화: Weights & Biases와 NVIDIA 협업 최신 소식
올해 GTC에서 부스 1336에 들러 인사해 주세요. Weights & Biases 플랫폼의 모든 개선 사항, NVIDIA와의 확대되는 파트너십을 한눈에 정리했습니다. 이 글은 AI 번역본입니다. 오역이 있을 경우 댓글로 알려 주세요.
Created on September 12|Last edited on September 12
Comment
2024년에 이어 2025년에도 프로덕션 AI 애플리케이션 구축에 대한 관심이 집중되고 있으며, 기업이 이러한 목표를 달성할 수 있도록 지원하는 인프라와 모델에 구애받지 않는 도구와 패키지의 필요성이 커지고 있습니다.
이러한 요구를 충족하기 위해 Weights & Biases는 개발자가 AI 애플리케이션을 평가하고 모니터링하며 반복 개선할 수 있는 AI 플랫폼을 제공합니다. Weights & Biases는 입력, 출력, 지표, 프롬프트, 코드, 학습 실험 등 모든 것을 추적하는 도구를 제공합니다. 적절한 추적이 없으면 실험에서 나온 귀중한 IP를 잃을 위험이 있으며, 결과 재현이 어렵거나 불가능해져 애플리케이션의 개선과 최적화에 집중하기보다 처음부터 다시 시작해야 할 수 있습니다. NVIDIA와 함께하는 W&B 플랫폼은 전체 AI 개발 워크플로를 지원합니다. W&B Weave 개발자가 AI 애플리케이션을 구축하고 모니터링할 수 있도록 하고 W&B Models AI 모델을 미세 조정하기 위해.
W&B Weave의 새로운 혁신
규모와 산업을 막론한 기업들의 의견과 피드백을 바탕으로, Weights & Biases는 조직이 AI 애플리케이션을 프로덕션으로 빠르게 전환할 수 있도록 새로운 기능을 신속히 추가해 왔습니다.
가장 최근에는, 저희는 W&B Guardrails개발자 친화적인 API와 함께 제공되는 Guardrails는 책임 있는 AI를 지원하기 위해 안전성과 품질을 평가하는 사전 구축된 scorer 세트입니다. 안전성 scorer에는 유해성, 편향, PII 탐지, 환각이 포함되며, 품질 점수에는 일관성, 유창성, 문맥 관련성이 포함됩니다. 또한 W&B Weave는 유연한 프레임워크를 제공하여, 엔터프라이즈가 자체 커스텀 Guardrails를 도입하거나 당사 플랫폼 내에서 타사 scorer를 활용할 수 있도록 합니다.
다음으로, 테스트를 아무리 철저히 해도 실제 사용에서는 예기치 않은 상황과 엣지 케이스가 자주 드러납니다. 때로는 프로덕션에서의 사용자 요청이 향후 평가에 유용한 예시가 되기도 합니다. W&B Weave를 사용하면 선택한 트레이스를 추가하여 새로운 데이터셋을 손쉽게 구축할 수 있어, 보다 효과적인 평가를 더 빠르게 만들 수 있습니다. 이 기능은 Weave UI와 SDK 모두에서 사용할 수 있습니다.
또한 AI 애플리케이션을 평가하면서 빠르게 테스트하고 개선해야 할 때, 새로운 Weave Playground 이제 시험 기능을 제공합니다. 동일한 프롬프트에 대해 여러 출력을 생성하여 응답의 견고성을 평가할 수 있습니다. Playground 설정 사이드바에서 “Number of Trials” 값을 늘린 뒤 프롬프트를 실행하세요. 그런 다음 출력을 검토하여 불일치나 특이값을 확인합니다. 이러한 인사이트를 활용해 temperature와 같은 LLM 설정을 미세 조정하고, 프롬프트 공격과 유해한 응답에 대비하는 guardrails를 구현할 수 있습니다.
AI 애플리케이션을 개선하는 또 다른 일반적인 전략은 전문가 피드백을 반영하는 것입니다. W&B Weave에서는 이제 라벨러와 도메인 전문가를 위한 맞춤형 UI를 생성하세요 프로젝트 전반에서 재사용할 수 있는 일관되고 고품질의 주석을 생성하기 위해.
마지막으로, 민감한 데이터를 활용하는 엔터프라이즈 AI 애플리케이션을 위해 W&B SDK는 민감한 데이터 보호이 기능은 트레이스가 Weave 서버로 전송되기 전에 개인 식별 정보(PII)를 자동으로 마스킹합니다. 이를 통해 가장 민감한 데이터와 엄격한 컴플라이언스 요구 사항을 가진 엔터프라이즈도 AI 활용 사례에서 W&B Weave의 가시성과 기능을 활용할 수 있습니다.
NVIDIA 생태계 지원 확대
이러한 신규 W&B Weave 기능에 더해, Weights & Biases는 NVIDIA와 긴밀히 협력하여 AI 애플리케이션과 AI 모델을 구축하는 엔터프라이즈를 위한 강력한 조합을 제공합니다. 특히 Weights & Biases는 다음 모두에 대한 지원을 확대하고 있습니다 NVIDIA DGX 슈퍼컴퓨팅 그리고 the NVIDIA AI Enterprise 소프트웨어 플랫폼.
Weights & Biases는 지난 1월 NVIDIA AI Blueprints의 출시 파트너로 함께하게 되어 자부심을 느낍니다. 특히 우리는 NVIDIA 팀과 협력하여 다음의 버전을 제작했습니다 AI Virtual Assistant NVIDIA AI Blueprint, W&B Weave가 제공하는 가시성을 더해 강화할 수 있습니다. 당신은 시작하기 가이드를 읽어보세요.
GTC에서 우리는 W&B Weave의 통합 미리보기를 소개합니다 NVIDIA NeMo Evaluator 마이크로서비스 (현재 얼리 액세스)입니다. NeMo Evaluator 마이크로서비스는 GenAI 애플리케이션 개발을 가속화하기 위해 AI 센터 ���브 엑설런스를 구축하는 엔터프라이즈를 대상으로, 엔터프라이즈급 스코어링 지표와 LLM-as-a-judge 기능을 제공합니다. W&B Weave와 NeMo Evaluator의 통합을 통해 개발자는 애플리케이션을 구동하는 파운데이션 모델의 성능을 손쉽게 로깅, 분석, 비교할 수 있으며, 빠르게 반복하여 애플리케이션 응답 품질을 개선할 수 있습니다.
AI 모델을 학습하고 파인튜닝하는 조직을 위해, 우리는 또한 다음과의 통합을 발표합니다 NVIDIA DGX Cloud, 변화하는 워크로드를 위해 소프트웨어, 서비스, AI 전문성을 결합해 성능을 최적화하는 통합 AI 플랫폼입니다. 이번 통합을 통해 DGX Cloud에서 모델을 학습하고 파인튜닝하는 AI 연구자는 실험 파라미터와 지표를 손쉽게 로깅하여 다음으로 보낼 수 있습니다 W&B Models, 학습 스크립트에 W&B API 호출을 삽입해 계측할 필요 없이.
Weights & Biases @ GTC
물론 GTC에서도 대대적으로 참가합니다. 저희가 구축해 온 기능과 위에서 소개한 통합들을 직접 보고 싶다면, 언제든지 찾아오세요. 미팅 요청하기 팀과 미팅을 예약하거나 1336번 부스에서 직접 이야기 나눠 주세요. 또한 공동 창업자이자 CEO인 Lukas Biewald가 다음 주제에 대해 발표할 예정입니다. 프로덕션 GenAI 애플리케이션을 구축하기 위한 과제와 모범 사례 3월 20일 목요일 오후 3시에.
그곳에서 뵙길 기대합니다.
Add a comment