Weave Guardrails 소개
사전 구축된 안전·품질 스코어러로 AI 애플리케이션을 보호하세요
이 글은 AI 번역본입니다. 오역이 의심되면 댓글로 알려주세요
Created on September 15|Last edited on September 15
Comment
오늘, 저희는 출시를 기쁘게 발표합니다 Weave Guardrails는 개발자가 AI 기반 애플리케이션의 안전성과 품질을 향상하도록 돕는 새로운 기능입니다. 조직들이 AI 시스템을 빠르게 도입함에 따라, 이러한 애플리케이션이 안전하게 동작하고 고품질 결과를 제공하도록 보장하는 일은 해결해야 할 중요한 과제가 되었습니다. Weave Guardrails는 위반 사항을 감지하는 개발자 친화적 신규 API와 종합적인 사전 구축 스코어러 모델 제품군을 통해 이 요구를 해결합니다.
RAG 출력에 대한 응집성과 환각 가드레일 실행
실시간 보호를 위한 프로그래머블 안전장치
Weave Guardrails는 개발자가 프로그래머블 안전장치를 구현할 수 있도록 합니다. Guardrail이 트리거되면, 개발자는 애플리케이션을 사용자 정의 예외 코드를 실행하는 경로로 라우팅하여 유해한 출력이 최종 사용자에게 전달되는 것을 막고 사용자와 브랜드 평판을 모두 보호할 수 있습니다. 모든 탐지 결과는 Weave 내에 자동으로 기록되므로, 팀은 시간 경과에 따른 스코어러 성능을 모니터링하고 애플리케이션 품질을 지속적으로 개선할 수 있습니다.
아래 예제 코드는 LLM 호출 결과가 Weave 독성 스코어러로 보호되는 방식을 보여줍니다.
import weavefrom weave.scorers import WeaveToxicityScorerV1toxicity_scorer = WeaveToxicityScorerV1()@weave.opdef call_llm(prompt: str) -> str:"""Generate text using an LLM."""return prompt.upper()async def generate_safe_response(prompt: str) -> str:# Call your AI systemresult, call = call_llm.call(prompt)# Check Toxicity of the output of call_llmsafety = await call.apply_scorer(toxicity_scorer)if not safety.result.passed:return f"I cannot respond, guardrail triggered: {safety.result.metadata}"return result
Weave 가드레일로 출력 평가하기
Weave Guardrails는 AI 애플리케이션의 입력과 출력 모두를 평가하는 특화된 스코어러 컬렉션도 제공합니다. 여기에는 독성, 편향, PII 노출, 환각을 탐지하는 안전성 스코어러와 응집성, 유창성, 맥락 적합성을 측정하는 품질 스코어러가 포함됩니다. 특히 RAG 애플리케이션을 위해서는 신뢰도 스코어러를 마련했는데, 이는 5개의 서로 다른 스코어러를 결합해 명확한 신뢰 수준을 평가하는 복합 스코어러입니다.
로컬 배포용 파인 튜닝 모델 제공
이 v1 스코어러들은 소형·경량의 언어 모델이며, 로컬에서 낮은 지연으로 실행할 수 있습니다. 이번 출시의 일환으로, Weights & Biases가 개발한 여러 파인 튜닝 모델과 신중히 선별한 오픈 소스 모델들을 함께 공개합니다. 예를 들어, 당사의 WeaveFluencyScorerV1 모델은 다음을 기반으로 파인 튜닝된 모델입니다. ModernBert-Base AnswerDotAI에서, 반면 WeaveToxicityScorerV1 모델은 ��를 사용합니다 Celadon 모델 PleIAs에서 제공하는 고성능 오픈 소스 독성 탐지 모델입니다. 이러한 모델의 성능에 대한 사용자들의 의견을 듣고, 지속적으로 개선해 나가길 기대합니다.
모든 모델 가중치는 W&B Artifacts로 공개되어 있으며, 스코어러를 인스턴스화할 때 자동으로 다운로드됩니다. 각 스코어러의 학습 및 평가 내용은 개별 W&B Reports에 문서화되어 있으며, 다음에서 확인할 수 있습니다 여기.
Weave에서 Celadon 독성 모델 평가
이제 모든 Weave 사용자에게 Weave Guardrails가 제공됩니다. 시작하려면 다음을 시도해 보세요 우리 Colab 또는 우리의 기술 문서우리는 Guardrails가 더 안전하고 높은 품질의 AI 애플리케이션을 더 빠르게 개발하고 배포하는 데 어떻게 도움이 되는지에 대한 여러분의 의견을 기다리고 있습니다.
Add a comment