W&B Weave 업데이트: 맞춤 사용량·비용 추적, 신규 RAG 강의 등
이번 W&B Weave 뉴스레터에서는 최신 기능, 신규 코스, 그리고 최초의 해커톤 소식을 모두 담았습니다. 이 글은 AI가 번역한 기사입니다. 오역이 의심되면 댓글로 알려 주세요.
Created on September 15|Last edited on September 15
Comment
샌프란시스코에서 열린 W&B Weave 해커톤을 막 마쳤습니다. 뛰어난 엔지니어들이 만든 훌륭한 LLM 평가 프로젝트를 정말 많이 볼 수 있었어요. 그 소식은 곧 자세히 전해 드릴 예정이고, 오늘은 지난 2주 동안 W&B Weave에 적용한 개선 사항과 함께 새로운 RAG 코스를 소개합니다.
늘 그렇듯 이번 주의 팁부터 시작하겠습니다:
이번 주 LLM 팁
OpenAI의 o1-preview와 mini 모델이 출시되면서, 프롬프트 전략을 업데이트해야 합니다. o1은 시스템 프롬프트를 사용하지 않으며, 단순하고 직접적인 프롬프트에서 가장 잘 작동합니다. 즉, 체인 오브 소트와 XML 태그가 필요하지 않습니다. OpenAI가 유용한 세부 정보를 공유했습니다. o1의 추론 방식에 대한 설명
코스
가장 최신 코스, RAG++: POC에서 프로덕션까지이제 AI Academy에서 이용할 수 있습니다. 고객 지원 봇을 18개월간 운영하며 얻은 교훈을 1시간 분량의 코스로 압축했습니다. 신뢰성을 높이고, 체계적으로 평가하며, 최신 RAG 기법을 활용하는 방법을 배워 보세요. 또한 Cohere와의 파트너십을 통해 참가자에게 무료 LLM 크레딧을 제공합니다. 그리고 언제나 그렇듯, 이 코스는 완전히 무료입니다.
Register for our RAG++ course
제품 소식
커스텀 비용 추적
LLM 제공업체에서 자동으로 사용량과 비용을 추적하는 것과 함께, 이제 다음도 손쉽게 추적할 수 있습니다 사용량과 비용 커스터마이징 add_cost 메서드를 사용해 어떤 LLM에서도 적용할 수 있습니다. 또한 새 API를 통해 프로젝트 수준 비용을 조회할 수 있습니다.
import weavefrom datetime import datetimeclient = weave.init("my_custom_cost_model")client.add_cost(llm_id="your_model_name",prompt_token_cost=0.01,completion_token_cost=0.02)client.add_costs({llm_id="your_model_name",prompt_token_cost=10,completion_token_cost=20,# If for example I want to raise the price of the model after a certain dateeffective_date=datetime(2025, 4, 22),)
인기 블로그
스토리 일러스트레이션
지난주 스토리 일러스트레이션 블로그에 훌륭한 피드백을 많이 받아, 금요일까지 Flux와 GPT-4를 사용해 무료로 제공하기로 했습니다. 좋아하는 이야기를 넣기만 하면 아름답고 일관된 일러스트를 얻을 수 있습니다. 블로그에는 전체 과정을 단계별로 안내하는 Colab도 포함되어 있습니다.
o1 벤치마킹
우리는 OpenAI의 새로운 o1-preview를 AI Hacker Cup 과제에 대해 벤치마킹한 결과, 매우 어려운 코딩 문제에서 성능이 크게 향상되는 것을 확인했으며, 토큰 사용량은 2배로 증가했습니다.
LLM 라우터를 학습하고 평가하는 방법
모든 문제의 모든 부분에 최첨단 모델이 필요한 것은 아닙니다. 쿼리의 난이도에 따라 서로 다른 모델로 라우팅하는 LLM 라우터를 구축하면 시간과 비용을 절약할 수 있습니다. 이 블로그에서는 LLM 라우터를 만드는 방법과 W&B Weave로 응답 품질을 평가하는 방법을 살펴봅니다.
이벤트
풀리 커넥티드 도쿄
Fully Connected는 생성형 AI 산업을 선도하는 빌더들을 위한 컨퍼런스입니다. 파운데이션 모델을 만드는 팀, LLM을 파인튜닝하는 엔터프라이즈, GenAI 애플리케이션을 배포하는 개발자들에게서 직접 배워 보세요. 10월 10일 도쿄에서 함께하길 바랍니다.
GenAI 살롱
샌프란시스코 현장 행사에 함께하세요. LlamaIndex의 CEO인 Jerry Liu와 함께 고급 리서치 어시스턴트를 구성하는 핵심 빌딩 블록에 대해 이야기합니다. 또한 Replicate의 Founder & CEO인 Ben Firshman을 모시고 Replicate가 어떻게 수백만 명의 사용자로 성장했는지, 그리고 사람들이 AI로 어떤 제품과 프로젝트를 만들고 있는지 두 가지 핵심 주제를 중심으로 깊이 있게 다룹니다. 행사에 오셔서 발표를 듣고, 이후 해피 아워까지 함께하세요. 10월 17일 오후 5시 PT에 시작합니다.
커뮤니티
내 문서 평가해줘
저지먼트 데이 해커톤
Weights & Biases의 첫 샌프란시스코 해커톤이 주말 동안 열렸습니다. Prolog를 활용한 LLM 기반 지식 그래프, 뛰어난 프롬프트 최적화 앱, LLM의 창의성을 측정하는 연구, 그리고 LLM이 생성한 농담을 대상으로 한 페어와이즈 모델 평가까지 다양한 프로젝트가 함께했습니다. Alex Volkov의 하이라이트 영상 요약을 확인해 보세요.
W&B Weave 시작이 막막하신가요?
Add a comment