W&B Prompts 소개
W&B의 새로운 LLMOps 도구와 활용 방법을 모두 알아보세요
이 글은 AI 번역본입니다. 오역이 의심되는 부분은 댓글로 알려주세요
Created on September 15|Last edited on September 15
Comment
소개
새로운 프롬프트 엔지니어링 활용 사례를 지원하기 위한 추가 기능도 함께 발표하게 되어 매우 기쁩니다:
- A 한 줄짜리 LangChain 통합 LangChain 모델과 입력·출력을 손쉽게 로깅할 수 있도록
- A 한 줄짜리 OpenAI 통합 OpenAI 모델의 입력과 출력을 로깅하기 위해
- 마크다운 렌더링, 긴 텍스트 스크롤, 문자열 비교(diff) 등을 포함한 W&B Tables의 텍스트 처리 개선
- 새로운 W&B JavaScript SDK 프로덕션에서의 프롬프트 탐색과 모델 생성까지 모두 추적하기 위해
마지막으로, LLM 생태계에 기여하고 함께 성장하기 위해 저희는 다음도 진행하고 있습니다:
W&B Prompts - LLM 디버깅 도구
프롬프트 엔지니어링 사례에는 전통적인 ML 실무자와는 조금 다른 고유한 요구와 어려움이 있습니다:
- 다양한 모델 토폴로지를 구성하고 상호작용하세요
- 프롬프트와 컨텍스트 같은 개념적 변수들을 반복적으로 개선하세요
- 손실 지표를 낮추는 데 집중하기보다 응답의 품질과 승인률을 높이세요
- 딥 뉴럴 네트워크에서 폭주하는 그래디언트를 디버깅하는 대신, 이제는 LLM의 프로그램을 디버깅하고 있습니다
이 새로운 프롬프트 엔지니어링 활용 사례를 지원하기 위해, W&B는 실행 트레이스를 기록하고 모든 사용자의 실험 활동을 추적합니다. W&B가 없으면 이러한 정보는 접근하기 어렵거나 아예 사라지기 쉽습니다. 이를 통해 과거 결과를 손쉽게 검토하고, 오류를 식별·디버깅하며, 모델 동작에 대한 인사이트를 얻고, 동료들과 배움을 공유할 수 있습니다.
그 트레이스 타임라인 프로그램의 트레이스 전반에 걸친 모든 단계와 활동을 그래픽으로 보여주며, 실행 트레이스와 내부 컴포넌트 상호작용까지 포함합니다. 시각화된 각 요소를 클릭해 해당 컴포넌트를 상세히 살펴보고, 무엇이 일어났는지와 오류가 어디에서 발생했는지 파악하세요. 트레이스 테이블 모든 트레이스에 대한 전체적인 뷰를 제공하며, 입력, 출력, 체인, 오류 정보를 자세히 보여줍니다. 테이블을 쉽게 내보내 실시간으로 협업하고 지능적으로 반복 개선하세요.
프롬프트 엔지니어링을 제대로 하려면, 반복과 분석 과정에서 체인 구성 요소가 어떻게 설정되었는지 이해해야 합니다. Model Architecture 뷰어는 체인의 토폴로지 내에 있는 모든 설정, 도구, 에이전트를 상세히 보여줍니다.
Try Prompts
W&B Launch와 함께하는 OpenAI Evals
자체 활용 사례에 맞춰 대규모 언어 모델을 평가하는 일은, 새로운 LLM 중심 워크플로에서 가장 어렵고 모호하며 빠르게 변화하는 부분 중 하나입니다.
OpenAI Evals LLM 평가를 위한 수십 개의 평가 스위트를 빠르게 확장해 나가는 저장소입니다. 사용자는 W&B Launch를 통해 OpenAI Evals의 어떤 평가든 클릭 한 번으로 손쉽게 실행하고, 결과를 W&B로 시각화하고 공유할 수 있습니다.
런치 평가 작업을 실행하는 데 필요한 모든 것을 한데 묶어 제공합니다. 이제 저장소를 클론하거나, Python 환경을 구성하거나, 종속성을 설치하는 일로 걱정할 필요가 없습니다. W&B는 평가 결과를 자동으로 W&B Tables에 기록하고, 시스템 프롬프트, 사용자 프롬프트, 응답의 대화형 표현을 포함한 보고서를 생성합니다. 또한 사용자는 Model Registry에 새 모델 버전을 푸시할 때 평가를 자동으로 실행하도록 트리거를 설정할 수 있습니다.
Try the W&B OpenAI Evals integration
W&B Tables - UX 개선사항
W&B Tables 은 W&B 플랫폼의 핵심 기능으로, 사용자들이 머신러닝 모델의 예측과 그 기반이 되는 데이터셋을 손쉽게 시각화하고 분석할 수 있게 합니다. 텍스트 데이터를 다루는 사용자들을 더 잘 지원하기 위해, Tables에서 텍스트를 표시하는 방식에 다음과 같은 개선을 적용했습니다:
- 마크다운이제 사용자는 테이블에서 마크다운을 시각화할 수 있습니다
- 문자열 간 차이 비교이제 사용자는 두 문자열 간의 차이를 표시하여 LLM 프롬프트의 변경점을 빠르게 확인할 수 있습니다
- 장문형 콘텐츠: 이제 Tables는 셀 내 스크롤과 마우스 오버 시 문자열 팝업을 통해 장문 텍스트 필드를 더 잘 지원합니다
W&B JavaScript SDK
여러분이 사랑하는 Weights & Biases가 이제 JavaScript에서도 사용할 수 있습니다! 새로운 W&B JavaScript SDK를 사용하면 스크립트에 몇 줄만 추가해도 LangChain 실행을 손쉽게 트레이싱할 수 있습니다. 체인이 실행되는 동안 W&B가 체인에서 일어나는 각 단계를 캡처하고, W&B UI에서 시각화해 보여줍니다. 이를 통해 JavaScript에 익숙한 새로운 세대의 ML 개발자들이 훨씬 더 간단하게 워크플로를 구축하고 디버깅할 수 있을 것입니다.
Add a comment