Snowpark 컨테이너 서비스와 W&B로 AI 개발을 가속화하기
Snowflake의 새로운 Snowpark Container Services 출시 파트너가 되었음을 기쁘게 알려드립니다. 알아두셔야 할 핵심 내용은 다음과 같습니다. 이 글은 AI 번역본입니다. 오역이 의심되면 댓글로 알려주세요.
Created on September 15|Last edited on September 15
Comment
소개
딥러닝과 생성형 AI 팀은 보유한 데이터 자산을 활용해 엔터프라이즈급 머신러닝 제품을 만들고자 합니다. 기업이 데이터 저장, 분석, 그리고 데이터 중심 애플리케이션 구축에 널리 사용하는 공통 기술 가운데 하나가 Snowflake의 Data Cloud입니다. 이는 클라우드의 사실상 무한한 확장성을 활용하는 완전 관리형 멀티 클러스터 공유 데이터 아키텍처입니다.
에서 Snowflake 서밋 2023Snowflake는 Data Cloud를 확장한 Snowpark Container Services의 프라이빗 프리뷰를 발표하여, 컨테이너화된 머신러닝 및 AI 애플리케이션을 안전하게 개발하고 배포할 수 있도록 했습니다. Weights & Biases는 Snowpark Containers의 출시 파트너가 된 것을 자랑스럽게 생각하며, ML 엔지니어와 데이터 사이언티스트가 W&B 플랫폼을 귀하의 Snowflake 계정 내에서만 완전하게, 그리고 안전하게 원활히 활용할 수 있도록 지원합니다.
Weights & Biases란 무엇인가요?
Weights & Biases는 ML 팀이 더 빠르게 더 나은 모델을 만들고, 전체 ML 워크플로 전반에서 개발자 생산성을 높이도록 돕습니다. 노트북에 몇 줄의 코드만 추가하면 아키텍처, 하이퍼파라미터, git 커밋, 모델 가중치, GPU 사용량, 데이터셋, 예측까지 모델 전 과정을 즉시 디버그하고, 비교하고, 재현할 수 있습니다. 동시에 팀원들과 협업하고, 플랫폼을 ML 기록 관리 시스템으로 활용할 수 있습니다.
W&B는 OpenAI, Cohere, MidJourney와 같은 생성형 AI와 대규모 언어 모델을 개발하는 세계 최고 수준의 혁신 기업 및 연구 기관을 포함해 50만 명이 넘는 ML 실무자의 신뢰를 받고 있습니다. 무료로 사용해 보려면 Weights & Biases에 가입하세요.
Snowpark Container Services란 무엇인가요?
현재 프라이빗 프리뷰로 제공되는 Snowpark Container Services는 Snowflake의 처리 엔진을 확장한 기능으로, 개발자가 Snowflake가 관리하는 인프라에 컨테이너 이미지를 유연하게 배포할 수 있도록 합니다. 고객이 제공한 컨테이너 이미지에는 어떤 프로그래밍 언어로 작성된 코드도 포함할 수 있으며, GPU를 포함한 구성 가능한 하드웨어 옵션의 컴퓨트 풀에 손쉽게 배포할 수 있습니다. 이때 Snowflake Data Cloud와 동일한 사용 편의성, 확장성, 그리고 일관된 거버넌스를 그대로 제공합니다.
Snowpark Container Services를 통해 데이터 사이언스 엔지니어는 Snowflake 내에서 더 복잡한 AI 및 ML 작업과 로직을 실행할 수 있으며, 웹 기반 인터페이스를 포함한 애플리케이션의 다른 모든 구성 요소도 함께 실행할 수 있습니다.
이와 같은 추가 유연성을 통해 개발자는 일관된 데이터 보안과 거버넌스를 갖춘 단일 플랫폼에서 ETL 처리와 준비된 데이터셋을 사용하는 모델 및 구성 요소를 함께 실행함으로써, 개발 속도를 더욱 높이고 아키텍처를 간소화할 수 있습니다.
W&B + Snowpark Container Services: Snowflake에서 AI 개발을 가속화하세요
오늘 우리는 Snowflake 사용자가 W&B의 개발자 도구 제품군을 활용해 머신 러닝과 생성형 AI 알고리즘 개발을 가속화할 수 있도록 하는 두 가지 기능을 발표합니다.
- Snowpark Container Services에서 제공되는 W&B Server 이용 가능 여부이제 사용자는 자신의 Snowflake 계정 내에 W&B 서버를 구축할 수 있습니다.
- Snowflake Conda 채널의 W&B SDK이제 사용자는 Snowpark에서 호스팅되는 Jupyter 프로젝트에 W&B SDK를 활용해 W&B API 호출을 추가할 수 있습니다.
W&B와 Snowpark Container Services 데모: 자연어에서 SQL 쿼리를 생성하는 LLM을 학습, 튜닝, 디버깅하기
W&B와 Snowflake의 강력한 시너지를 보여드리기 위해, OpenAI의 대형 언어 모델(LLM)을 기반으로 Snowflake에서 실행되는 SQL 쿼리를 생성하는 대화형 에이전트를 구축하는 방법을 시연한 데모를 확인해 보세요.
이 데모는 최근 출시된 W&B Prompts를 활용하여 LLM과 Snowflake의 데이터 사이에서 오가는 프롬프트와 상호작용을 기록하고 시각화한 뒤, LLM이 생성한 SQL을 포함해 프롬프트 결과를 비교합니다.
W&B Prompts의 샘플 트레이스 타임라인
W&B 플랫폼은 NVIDIA의 기술을 활용하는 경우를 포함해, 자체 모델을 학습하고 튜닝하려는 조직도 지원합니다. NeMo 프레임워크그리고 NVIDIA의 제품을 활용하는 경우를 포함해, 기본 LLM 모델을 미세 조정하려는 조직도 NeMo LLM 클라우드 서비스.
사용해 보는 방법
Snowpark Container Services의 W&B는 현재 프라이빗 프리뷰 단계입니다. 더 자세히 알아보고 싶다면 문의해 주세요. W&B에 문의하세요W&B 프롬프트를 미리 살펴보고 싶다면, 여기에서 라이브 대시보드 샘플을 확인하세요 (W&B 계정에 가입해야 합니다)
Add a comment