SambaNova Cloud와 Weave로 확장 가능한 리서치 에이전트 구축 방법
이 인터랙티브 튜토리얼에서 W&B Weave와 SambaNova Cloud를 사용해 리서치 에이전트를 구축하는 방법을 알아보세요 이 글은 AI로 번역되었습니다. 오역이 있을 수 있으니 댓글로 알려주세요
Created on September 15|Last edited on September 15
Comment
SambaNova Cloud 사전 학습된 파운데이션 모델을 서비스 형태로 제공하며, 고성능 추론에 최적화된 맞춤형 하드웨어에서 실행됩니다. 그 핵심에는 재구성 가능한 데이터플로우 유닛 (RDU) 아키텍처로, 빠른 토큰 처리량을 제공하며 리서치, 추론, 복잡한 문제 해결에 사용되는 대형 모델에 적합합니다.
이 블로그에서는 다음을 사용해 에이전트를 구축하는 방법을 단계별로 살펴보겠습니다 SambaNova Cloud 그리고 다음을 통해 동작과 성능을 추적합니다 W&B Weave실험 단계든 확장 단계든, 이 설정은 전체 에이전트 워크플로 전반에 걸친 가시성을 제공하도록 설계되었습니다.
시작해 보겠습니다.
에이전트 설계
다양한 사용자 질의를 처리하기 위해, 우리는 여러 도메인에 걸친 복잡한 요청을 소화하도록 학습된 네 가지 전문 에이전트를 중심으로 시스템을 설계했습니다. 이번 글에서는 리서치 에이전트에 초점을 맞추지만, 시스템에는 일반 어시스턴트 에이전트, 세일즈 리드 에이전트, 재무 분석 에이전트도 함께 구축되어 있습니다.
이들 에이전트는 중앙 플래너를 통해 조율되며, 플래너가 에이전트 모듈 전반에 작업을 위임합니다. SambaNova Cloud는 이 애플리케이션의 백본으로서, 에이전트가 수만 토큰을 처리하고 높은 정밀도의 초고속 응답을 제공할 수 있게 합니다. 또한 이 애플리케이션은 멀티모달 입력을 지원하여, 텍스트, 음성, 문서 업로드를 통해 에이전트와 상호작용할 수 있습니다.
앞서 언급했듯이, 이 블로그에서는 다음에 집중하겠습니다 심층 리서치 이 에이전트는 Yahoo!와 Google Finance의 API로 기업 정보를 조회하고, Tavily와 Exa를 통해 검색하여 여러 온라인 소스를 질의할 수 있는 능력을 제공합니다.
우리 에이전트는 기업 조사와 상세 보고서 작성 과정을 빠르고 수월하게 만들어 주도록 설계되었습니다.
에이전트 라이프사이클은 간결하고 모듈화된 프로세스를 따릅니다:
- 사용자 질의 처리
- 에이전트 할당
- 데이터 검색 및 처리
- 응답 생성
💡
에이전트 워크플로의 상위 수준 아키텍처는 다음과 같습니다:

만들어 봅시다
gh repo clone wandb/sambanova-webinar
리포지토리의 안내에 따라 에이전트를 설정하세요. 설정이 완료되면 애플리케이션에 로그인한 뒤 SambaNova API Key를 입력하세요. 해당 키는 다음에서 받을 수 있습니다 여기.
SambaNova에서 제공하는 모델에 접근하는 것은 OpenAI의 클라이언트 규칙과 호환되는 API 클라이언트 덕분에 매우 간단합니다. 이를 통해 통합이 매끄럽게 이루어지며, 애플리케이션에 SambaNova가 호스팅하는 모델을 최소한의 변경만으로 포함할 수 있습니다.
시작하는 방법은 다음과 같습니다:
from openai import OpenAIclient = OpenAI(base_url="https://api.sambanova.ai/v1",api_key="YOUR SAMBANOVA CLOUD API KEY")
에이전트가 정상적으로 실행되었으니, 이제 다음과 같은 질의로 시스템에 요청할 수 있습니다. “Meta를 조사하고 2025년 재무 분석 보고서와 시장 위험 개요를 제공해줘.”
Weave로 에이전트 플로우 추적하기
에이전트가 실행되기 시작하면, 각 에이전트가 어떻게 동작하는지를 추적하는 것이 중요합니다. Weave는 에이전트 라이프사이클 전반을 완전히 가시화해 이를 쉽게 만들어 줍니다. 이러한 크루의 플로우를 추적하기 위해, 우리는 다음을 도입합니다 @weave.op() 추적하려는 에이전트에 적용하는 데코레이터.
W&B Weave는 GenAI 애플리케이션의 개발과 모니터링을 간소화하도록 설계된 종합 툴킷입니다. 초기 프롬프트부터 최종 출력까지 AI 워크플로의 모든 측면을 기록하고, 시각화하며, 디버그할 수 있게 해줍니다. 이를 통해 에이전트가 어떻게 동작하는지와 개선할 수 있는 지점을 깊이 있게 파악할 수 있으며, 프롬프트 구조를 다듬거나 모델 파라미터를 변경하거나 실패 양상을 식별하는 등 다양한 최적화를 수행할 수 있습니다.
이 에이전트가 시작될 때부터의 플로우를 Weave로 추적하여, 요청을 완료하는 과정에서 에이전트가 수행하는 모든 후속 호출—다른 서비스로의 API 호출과 파운데이션 모델 호출을 포함—에 대한 전체 컨텍스��를 확보합니다.
import weave@weave.op(name='initialize_agent')async def initialize_agent_runtime(redis_client: SecureRedisService,api_keys: APIKeys,user_id: str,conversation_id: str,websocket_manager: WebSocketInterface) -> SingleThreadedAgentRuntime:"""Initializes the agent runtime with the required agents and tools.Returns:SingleThreadedAgentRuntime: The initialized runtime for managing agents."""
우리 코드베이스에서 (backend/agent/crewai_llm.py), 우리는 LLM 호출, 플래너 로직, 그리고 핵심 에이전트 함수를 다음으로 감쌉니다 @weave.op() 입력, 출력, 지연 시간, 그리고 토큰 사용량까지 자동으로 기록합니다. 이러한 트레이스는 Weave의 UI에서 시각화되어, 실패한 작업(예: 누락된 API 키, 모델 오류)을 디버그하고, 에이전트 전반의 성능 병목을 모니터링하며, 시간 경과에 따른 실행 경로와 에이전트 출력을 비교하는 데 도움을 줍니다.
import weaveclass CustomLLM(LLM):@weave.op()def call(self,messages: Union[str, List[Dict[str, str]]],tools: Optional[List[dict]] = None,callbacks: Optional[List[Any]] = None,available_functions: Optional[Dict[str, Any]] = None,) -> str:"""High-level llm call method that:1) Accepts either a string or a list of messages2) Converts string input to the required message format3) Calls litellm.completion4) Handles function/tool calls if any5) Returns the final text response or tool result"""
추적하려는 모든 함수에 Weave를 완전히 통합하고 나면, 에이전트 실행과 작업 처리 전반에 대한 전체 트레이스 뷰를 확인할 수 있습니다.
예를 들어, 재무 분석 에이전트가 API 호출 오류로 데이터를 반환하지 못할 때, Weave는 트레이스 트리와 실행 타임라인에서 문제가 발생한 지점과 그 원인이 된 입력을 빠르게 표시해 정확히 어디에서 실패했는지 추적할 수 있도록 도와줍니다.

특정 에이전트의 실행까지 추적해 각 에이전트가 어떻게 동작하는지 파악할 수도 있습니다:

추가함으로써 @weave.op() 데코레이터를 LLM 호출, 플래너 로직, 외부 API 상호작용과 같은 핵심 함수에 추가하면 에이전트 실행의 모든 단계를 완전히 가시화할 수 있습니다. 여기에는 프롬프트 입력과 출력, 함수 인수, 응답 지연 시간, 토큰 사용량 등 다양한 정보가 포함됩니다. Weave 트레이��는 매우 정교하며 에이전트 코드와 같은 세부 정보까지 포착해, 팀이 디버그하고 반복 개선을 통해 시간이 지날수록 AI 에이전트를 향상시키는 데 도움을 줍니다.
결론
지능형 AI 에이전트를 구축하고 평가하며 최적화하는 일은 복잡하지만, 그 과정을 블랙박스처럼 느낄 필요는 없습니다. SambaNova Cloud를 사용하면 이러한 에이전트를 구동하는 대규모 파운데이션 모델을 실행하는 데 필요한 성능과 확장성을 확보할 수 있고, W&B Weave를 통해 에이전트가 어떻게 작동하는지—단계별로—완전히 가시화할 수 있습니다.
이 블로그에서는 모듈형 에이전트 아키텍처를 설계하고, SambaNova의 고처리량 RDU로 제공되는 모델과 통합하며, Weave를 통해 각 상호작용을 추적하는 방법을 살펴보았습니다. 심층 리서치, 금융, 기타 도메인을 위한 도구를 구축하든, 이 스택은 통찰을 잃지 않으면서도 빠르게 움직일 수 있는 인프라를 제공합니다.
이제 작동 방식을 확인했으니, 직접 사용해 보세요!
Weights & Biases와 SambaNova 팀에 함께하세요 라이브 웨비나 안내 4월 30일 오전 8시(태평양시간)여기에서 이 에이전트를 단계별로 직접 구축하고 실행하는 라이브 세션을 진행합니다. 도구를 만든 팀으로부터 직접 배울 수 있는 기회를 놓치지 마세요. 아래 버튼을 클릭해 등록할 수 있습니다.
SIGN UP FOR OUR WEBINAR
Add a comment