DeepSeek V3.1 튜토리얼: Python과 W&B Weave로 오픈 소스 LLM 활용하기

개요

DeepSeek V3.1의 핵심 아키텍처 혁신

DeepSeek-V2에서 DeepSeek-V3.1로의 혁신 사항

멀티헤드 잠재 어텐션(MLA): 이는 기존의 멀티헤드 어텐션을 확장한 새로운 어텐션 메커니즘입니다. 각 어텐션 헤드가 원래의 토큰 공간에만 작동하는 대신, MLA는 헤드가 주의를 기울일 수 있는 잠재 특성을 도입합니다. 실무적으로 이는 계산량을 비례하여 늘리지 않고도 모델이 더 미묘한 패턴과 장기 의존성을 포착할 수 있음을 의미합니다. 효과 DeepSeek-V3.1은 잠재 표현을 통해 주의를 집중시켜 최대 128k 토큰에 이르는 매우 긴 컨텍스트를 더욱 효율적으로 처리합니다. 이 방식은 매우 긴 시퀀스에 대해 순진한 전체 어텐션을 적용하는 것과 비교해 메모리와 연산 부담을 줄여 줍니다.
DeepSeek-MoE 아키텍처: DeepSeek V3.1은 ���용합니다 혼합 전문가 모델 전례 없이 큰 규모(총 671B 파라미터)이지만, 핵심은 각 입력 토큰마다 전체가 아닌 일부 전문가만 활성화된다는 점으로, 활성 파라미터는 약 37B 수준입니다. DeepSeek-V2에서도 MoE를 사용했지만, V3의 MoE는 더 발전했고 최적화가 잘 되어 있습니다. 모델은 다수의 “전문가” 서브네트워크로 분할되어 있으며, 게이팅 메커니즘이 각 토큰을 처리할 전문가를 선택합니다. 효과 이 아키텍처는 모델이 …을/를 갖추도록 합니다 용량 매우 큰 모델의 용량을 유지하면서도, 추론을 계속해서 효율적으로 수행하도록 연산 훨씬 더 작은 모델에 가까워집니다. 즉, 다수의 특화된 전문가를 활용해 더 높은 정확도를 달성하지만, 한 번에 소수의 전문가만 사용되므로 추론은 여전히 실행 가능합니다.
보조 손실 없는 로드 밸런싱: 전통적인 MoE 모델은 학습 중 토큰이 전문가들 사이에 고르게 분배되도록(특정 전문가의 과도한 사용 또는 미사용을 방지하기 위해) 보조 손실 항을 요구하는 경우가 많습니다. DeepSeek-V3.1은 이를 위한 새로운 접근법을 선도하여 보조 손실 없이 로드 밸런싱대신 개선된 게이팅 전략이나 아키텍처 조정을 활용하여 전문가 사용이 자연스럽게 균형을 이루도록 합니다. 효과 보조 손실을 제거하면 조정해야 할 하이퍼파라미터가 하나 줄어들어 학습이 단순해지고, 추가적인 목적 함수를 함께 최적화할 필요가 없어 잠재적으로 안정성도 높아집니다. V3.1의 게이팅 메커니즘은 각 전문가가 충분히 활용되도록 효과적으로 보장하며, 이는 DeepSeek-V2 실험에서 검증되었고 V3.1에서 완성되었습니다.
다중 토큰 예측 목표: 표준 언어 모델링 목표(한 번에 다음 토큰 하나를 예측)와 달리, DeepSeek-V3.1은 다음과 같은 방식으로 학습되었습니다 다중 토큰 예측 목표입니다. 이는 학습 과정에서 모델이 가끔 한 번에 여러 개의 미래 토큰을 예측하려고 시도했음을 의미합니다. 효과 이 학습 전략은 더 강력한 예측 모델링으로 이어집니다. 모델이 토큰 시퀀스를 더욱 일관되게 생성하고, 출력에서 부분적으로 “앞을 내다보는” 계획을 세울 수 있게 됩니다. 보너스로 추론 효율도 높일 수 있습니다. 일부 구현에서는 다중 토큰 예측으로 학습된 모델이 한 번의 포워드 패스에서 여러 토큰을 생성해 처리량을 높입니다. 설령 일반적으로 한 번에 한 토큰씩 생성하더라도, 이 학습 목표는 대체로 문맥 인���력이 더 높고 긴 출력에서 오류가 적은 모델을 만들어 줍니다.

효율적인 추론과 비용 효율적인 학습

DeepSeek-V3.1이 효율성을 달성하는 방법

FP8 혼합 정밀도 학습: DeepSeek-V3의 학습 파이프라인은 다음과 같은 요소를 활용합니다 8비트 부동소수점(FP8) 정밀도(최신 NVIDIA H100과 같은 GPU에서 지원). 학습의 특정 구간에서 가중치와 활성화를 8비트 형식으로 표현하면, 기존의 16비트 또는 32비트 정밀도 대비 메모리 사용량과 통신 오버헤드를 크게 줄일 수 있습니다. 영향: FP8를 사용하면 동일한 토큰 수를 처리하면서 필요한 GPU 시간(GPU-hours)을 크게 줄여 모델을 학습할 수 있습니다. 또한 숫자 표현이 더 작아져 행렬 곱 연산이 빨라지므로 계산 속도도 향상됩니다. 그 결과, 전체 학습은 대략적으로 완료되었습니다 H800 GPU 시간 280만 시간 이 정도 규모의 모델로서는 매우 인상적인 성과입니다. 참고로, 이러한 정밀도 최적화가 없었다면 필요한 연산량은 몇 배나 더 컸을 것입니다.
최적화된 로드 밸런싱(보조 손실 없이) 앞서 언급했듯이 DeepSeek-V3는 더 나은 게이팅 메커니즘을 도입해 일반적인 MoE 보조 손실을 제거합니다. 이는 효율에 직접 기여합니다. 모델이 용량을 낭비하거나 일부 전문가가 모든 일을 떠맡는 나쁜 국소 최적해에 갇히는 문제를 피할 수 있기 때문입니다. 영향: 이는 다음을 의미합니다 모든 전문가의 보다 일관된 활용이는 특정 전문가 하나가 병목이 되는 것을 막습니다. 실무적으로는 모델의 모든 부분이 병렬로 학습하므로 학습 수렴이 더 빨라지고, 단일 구성 요소에 일이 몰리지 않아 추론 속도도 고르게 유지됩니다.
통신 병목 현상 감소: 671B 규모의 모델을 학습하려면 여러 GPU(때로는 여러 노드)에 작업을 분산해야 합니다. 디바이스 간에 활성화값, 그래디언트, 파라미터를 교환하는 통신 오버헤드는 대규모 모델 학습 속도를 크게 저하시킬 수 있습니다. DeepSeek 팀은 다음과 같은 구현을 도입했습니다. 통신 효율적인 알고리즘 이를 해결하기 위해 다음과 같은 방식을 적용했습니다. 예를 들어, MoE 전문가 출력에 대해 최적화된 all-to-all 통신을 사용하고, 모델을 샤딩하여 각 GPU가 모델 가중치의 일부만 처리하도록 했을 가능성이 큽니다. 또한 다음과 같은 기능들도 언급합니다: get_packed_weights 그들의 코드베이스에서 텐서 병렬 처리를 위해 통신 단계를 효율적으로 묶으려는 노력이 확인됩니다. 영향: 이러한 최적화 덕분에 GPU는 데이터 전송 대기 대신 유용한 작업(행렬 곱셈)에 집중할 수 있습니다. 그 결과, 다수의 GPU로 학습을 확장해도 거의 선형에 가까운 효율을 유지하며, 매우 큰 규모까지 네트워크 병목에 일찍 걸리지 않고 GPU를 더 추가할수록 실제로 성능 향상을 얻을 수 있습니다.
고처리량 추론: 효율성은 학습에만 국한되지 않습니다. 많은 사용자가 속도를 중요하게 여기는 곳은 바로 추론(텍스트 생성)입니다. DeepSeek-V3는 텍스트를 빠르게 출력하도록 최적화되어 있습니다. 다중 토큰 학습 목표와 간소화된 아키텍처를 통해 약 초당 60토큰DeepSeek-V2 대비 약 3배 빠릅니다. 내부적으로는 더 빠른 트랜스포머 구현(예: FlashAttention 또는 기타 결합 커널)을 사용하고, 동일한 크기의 밀집 모델에 비해 토큰당 연산량을 낮게 유지하는 MoE 구조를 적용하여 이를 달성합니다. 영향: 최종 사용자 입장에서는 모델이 매우 크더라도 응답이 빠르게 돌아온다는 의미입니다. 예를 들어 몇백 토큰짜리 응답이라면 수십 초가 아니라 몇 초 만에 준비될 수 있습니다.
안정적이고 비용 효율적인 학습 체계: 효율성에서 자주 간과되는 한 가지 측면은 시도를 낭비하지 않기. DeepSeek-V3의 학습은 놀라울 정도로 안정적이었으며, 보고에 따르면 비가역적 손실 급등 없음 되돌리기가 필요한 학습 충돌도 없었습니다. 이러한 안정성은 세심한 하이퍼파라미터 튜닝과, 점진적인 학습률 워밍업 및 초기 단계에서 발산을 조기에 포착하는 모니터링 같은 기법에서 비롯된 것으로 보입니다. 영향: 안정적인 학습은 중단된 런과 낭비되는 연산 자원을 줄인다는 뜻입니다. 또한 모델이 한 번에 수렴했기 때문에 총 비용(2.8백만 GPU 시간)은 일회성 비용이었습니다. 이들은 또한 사전 학습을 다음과 함께 보강했습니다. 지도형 미세 조정 (SFT) 그리고 강화 학습 모델의 역량을 완전히 끌어내기 위한 단계들이었습니다. 이러한 미세 조정 단계는 사전 학습된 모델 위에서 수행되어 정렬성과 추론 능력을 한층 개선하고, 초기 학습 투자 가치가 최대한 발휘되도록 했습니다.

DeepSeek-V3.1 평가 결과



브라우징, 검색, 그리고 질의응답



추론 효율성



전반적으로

DeepSeek-V3.1 모델의 핵심 기능

비추론 모드 vs. 추론 모드

비추론 모드: 이것은 표준 채팅 모드. DeepSeek V3.1을 비추론 모드로 사용할 때는 일반적인 대화형 AI처럼 동작합니다. 질문을 하거나 프롬프트를 제공하면, 곧바로 답변이나 완성된 출력을 반환합니다. 모델은 아니요 자기 사고 과정을 명시적으로 드러내지 않으며, 보통 간결하고 직설적인 최종 응답만 제공합니다. 이 모드는 다음에 최적화되어 있습니다: 속도와 단순한 작업. ChatGPT나 다른 챗봇이 응답하는 방식과 비슷합니다. 내부적으로 모델이 어떤 추론을 했는지는 보이지 않고, 최종 답만 확인할 수 있습니다. 모델은 내부적으로 복잡한 추론을 수행할 수 있지만, 중간 과정을 출력에 드러내지 않습니다. 비추론 모드는 캐주얼한 질의응답, 요약, 단순한 코딩 도움, 번역 등처럼 최종 해답이나 결과만 빠르게 원할 때 사용합니다. 가능한 한 빠르게.
사고 모드: 이것은 고급 추론 모드. 사고 모드에서는 DeepSeek V3.1이 느리고 단계적인 다중 단계 추론 과정을 수행하며 실제로 그 추론 과정을 드러내다 출력의 일부로(또는 특수한 API 필드로) 포함됩니다. 본질적으로 모델은 최종 답을 제시하기 전에 “생각” 과정을 출력합니다. 여기에는 브레인스토밍, 단계별 계산, 중간 결론 등이 포함될 수 있습니다. 종이에 수학 문제를 푸는 것과 비슷합니다. 풀이 과정을 적고 나서 최종 답을 쓰는 식이죠. DeepSeek의 사고 모드는 이와 유사하게 동작합니다. 이 모드는 DeepSeek의 R1 연구(사고 사슬을 개선하기 위해 강화 학습으로 훈련된 추론 모델)를 기반으로 합니다. 사용 사례: 언제든지 당신이 갖게 되는 경우 복잡한 문제 단계별 추론이 도움이 되는 경우입니다. 예를 들어, 복잡한 수학 서술형 문제를 풀거나, 논리 퍼즐을 수행하거나, 잠재적 문제가 여러 개 있는 코드를 디버깅하는 상황이 이에 해당합니다. 사고 모드는 더 면밀하고 완성도 높은 답변을 내는 경향이 있으며, 빠른 답변이 틀리거나 불완전할 수 있는 상황도 처리할 수 있습니다. 다만 그 대가로는 속도: 모델이 답에 도달하기 위해 실질적으로 더 많은 작업을 수행하고(그리고 더 많은 텍스트를 출력하기 때문에) 응답 속도가 느려지고 토큰 사용량이 늘어납니다. 일부 내부 테스트에서는 사고가 강화된 모델이 어려운 과제에서 더 정확한 답을 내지만, 시간이 더 오래 걸렸습니다(이는 추론 최적화 모델의 응답 시간이 더 길었다는 이전 관찰과 일치합니다).

비사고 모드의 접근 방식: 간결한 설명이나 잘 알려진 증명(예: 고전적인 귀류법—p/q = √2라고 가정하는 방식 등)을 바로 출력할 수 있습니다. 모델이 이를 기억하고 있다면 정답일 수 있지만, 프롬프트가 충분히 좋지 않으면 출력에서 논리를 단계별로 명시적으로 전개하지 않기 때문에 피상적이거나 약간 결함 있는 답을 줄 수도 있습니다.
사고 모드의 접근 방식: 모델은 “이 문제를 함께 추론해 봅시다.”라고 시작한 뒤, 다음과 같이 증명을 단계별로 전개할 수 있습니다. “√2 = p/q 가 유리수라고 가정한다… (1단계) … 모순에 이른다 (5단계) … 따라서 √2는 무리수이다.” 마지막으로 “그러므로 √2는 무리수이다.”라고 결론지을 수 있습니다. The 최종 답변 같지만, 사고 모드에서는 전체 추론 과정을 모두 볼 수 있어 더 유익하거나 설득력 있게 느껴질 수 있습니다.

예를 들어, DeepSeek이 두 가지 모델 이름을 제공한다고 해봅시다. 예를 들면 다음과 같습니다: "deepseek-v3.1-chat" (비사고 모드 기본값) 및 "deepseek-v3.1-reasoning" (사고 모드) — 또는 문서에서 암시하듯 추론 버전에는 모델 이름 “deepseek-r1”을 사용할 수도 있습니다. 필요에 따라 어떤 엔드포인트를 호출할지 선택하면 됩니다.
API를 통해 사고 모드를 사용할 때는 응답이 종종 구조화된 필드와 함께 제공됩니다. 특히 스트리밍 API는 다음을 반환할 수 있습니다 reasoning_content 일반 모드와 함께 content. 그 reasoning_content 중간 사고 과정을 담고 있으며, 클라이언트(즉, 여러분)는 이를 표시할지 말지를 선택할 수 있습니다. 보통은 사용자에게 최종 결과만 보여줍니다. content (답변)을 기록하고 reasoning_content 자신을 위해 또는 디버깅 목적으로, 특히 모델이 답에 도달한 과정을 검증하고 싶을 때 유용합니다(민감한 애플리케이션에서 특히 효과적).

사용하세요 비사고 모드 필요하다면 속도 또는 작업이 단순한 경우에 적합합니다. 예를 들어, 고객 문의에 실시간으로 답변하는 챗봇에서는 응답 속도를 빠르게 유지하기 위해 이 모드를 선호하게 됩니다. 또한 체인 오브 소트가 불필요한 텍스트 보완이나 생성 작업을 할 때는 비사고 모드를 사용하는 것이 좋습니다.
사용하세요 사고 모드 정확성이 중요하고 문제가 단순하지 않은 복잡한 작업에 적합합니다. 예를 들어, 프로그래밍 퍼즐을 푸는 도구를 만들거나 설명과 함께 수학을 가르치는 튜터형 AI를 구축한다면 사고 모드는 매우 유��합니다. 또한 비사고 모드에서 오답이 자주 나오는 경우에도 도움이 될 수 있습니다. 사고 모드로 전환하면 모델이 더 신중하게 추론하도록 유도해 문제를 바로잡는 데 효과적일 때가 있습니다.

단계별 튜토리얼: Python으로 DeepSeek V3.1 사용하기

설정 및 첫 번째 API 호출하기

보안 모범 사례: 공개할 가능성이 있는 스크립트에 API 키를 하드코딩하지 마세요대신 환경 변수나 구성 파일에 저장하세요. 여기서는 환경 변수에 키를 저장했다고 가정하겠습니다. DEEPSEEK_API_KEY 이 튜토리얼을 위해서.

pip install openai weave 

import weave
from openai import OpenAI

weave.init("deepseek_examples")

client = OpenAI(api_key="your_deepseek_api_key", base_url="https://api.deepseek.com")

@weave.op()
def deepseek_inference(prompt: str, model: str):
    response = client.chat.completions.create(
        model=model,
        messages=[
            {"role": "system", "content": "you are a helpful assistant."},
            {"role": "user", "content": prompt}
        ]
    )

    reasoning = getattr(response.choices[0].message, "reasoning_content", None)
    final_answer = response.choices[0].message.content

    return {"model": model, "answer": final_answer, "reasoning": reasoning}


# Extract and print the assistant's reply
assistant_reply = deepseek_inference("why is the sky blue?", "deepseek-chat")["answer"]
print("Assistant:", assistant_reply)

### A Helpful Analogy
Imagine a busy plaza with a large fountain in the middle (the Sun). If you start spraying a fine mist of water (the atmosphere) into the air around the plaza, the smaller, lighter droplets (blue light) will be scattered everywhere, misting everyone in the plaza. The larger, heavier droplets (red light) will tend to travel in a straighter line from the fountain and not get scattered as much.

### Bonus: Why are Sunsets Red?
This is the perfect reverse of the effect! At sunset, sunlight has to travel through a much thicker slice of the atmosphere to reach your eyes.

All that efficient blue light is scattered *away* from your line of sight long before it reaches you. The longer wavelengths of light (reds and oranges) are scattered less, so they pass straight through this thick layer of atmosphere and dominate the light that finally reaches your eyes, creating those brilliant sunset colors.

**In summary: The sky is blue because air molecules scatter short-wavelength blue light from the Sun much more than they scatter red light, filling our field of view with blue light coming from all directions.**
reasoning: Hmm, the user is asking about the color of the sky, which is a classic science question. They probably want a clear, straightforward explanation without too much technical jargon. 

I should start with the basic concept of sunlight being made of different colors, then explain how Rayleigh scattering works in simple terms. The key is to emphasize why blue light scatters more and how that affects what we see. 



import weave
from openai import OpenAI

# weave.init("deepseek_examples")

client = OpenAI(api_key="your_deepseek_api_key", base_url="https://api.deepseek.com")

@weave.op()
def deepseek_inference(prompt: str, model: str, stream: bool = False):
    if stream:
        answer = ""
        s = client.chat.completions.create(
            model=model,
            messages=[
                {"role": "system", "content": "you are a helpful assistant."},
                {"role": "user", "content": prompt}
            ],
            stream=True
        )

        print("=== streaming start ===")
        for chunk in s:
            delta = chunk.choices[0].delta
            if delta.content:
                answer += delta.content
                print(delta.content, end="", flush=True)
        print("\n=== streaming done ===")

        # reasoning not available in streaming mode
        return {"model": model, "answer": answer, "reasoning": None}

    else:
        response = client.chat.completions.create(
            model=model,
            messages=[
                {"role": "system", "content": "you are a helpful assistant."},
                {"role": "user", "content": prompt}
            ]
        )
        reasoning = getattr(response.choices[0].message, "reasoning_content", None)
        final_answer = response.choices[0].message.content
        return {"model": model, "answer": final_answer, "reasoning": reasoning}


if __name__ == "__main__":
    r1 = deepseek_inference("why is the sky blue?", "deepseek-reasoner", stream=True)
    print("\n=== deepseek-reasoner finished ===")
    print("answer:", r1["answer"])
    print("reasoning:", r1["reasoning"])

    r2 = deepseek_inference("why is the sky blue?", "deepseek-chat", stream=True)
    print("\n=== deepseek-chat finished ===")
    print("answer:", r2["answer"])
    print("reasoning:", r2["reasoning"])

만약 당신이 인증 오류 (예: “Invalid API key” 등)과 같은 오류가 발생하면, openai.api_key 올바른 키로 설정되어 있고 키가 유효한지(만료되었거나 할당량을 초과하지 않았는지) 확인하세요. 일부 플랫폼은 지역별 키를 사용하므로, 제공자가 요구하는 올바른 지역 또는 엔드포인트를 사용하고 있는지 반드시 확인하세요.
만약 당신이 연결 오류 또는 시간 초과, 방화벽 문제이거나 요청 속도 제한에 도달했기 때문일 수 있습니다. 인터넷 연결을 확인하고, 프롬프트 크기 문제인지 확인하기 위해 더 작은 프롬프트로 시도해 보세요. 또한 DeepSeek의 엔드포인트는 특정 네트워크 접근을 요구할 수 있으며(예: Alibaba Cloud 엔드포인트는 일부 지역에서 더 느릴 수 있음) 이를 확인해야 합니다.
만약 해당 응답이 비어 있거나 중간에 끊긴 것처럼 보입니다, 몇 가지 문제가 있을 수 있습니다. (1) 프롬프트가 사용 정책을 위반했을 수 있습니다(일부 엔드포인트는 특정 콘텐츠를 필터링합니다. 다만 DeepSeek처럼 오픈 모델의 경우, 제공자가 별도 필터를 두지 않았다면 가능성은 낮습니다). (2) 모델이 어떻게 응답해야 할지 모를 수 있습니다(다만 우리가 한 것처럼 모델 자체에 대해 묻는 질문은 보통 문제 없습니다). (3) 스트리밍을 사용하는 경우, 완료 처리를 제대로 하지 않았을 수 있습니다. 스트리밍 후에는 항상 개행을 출력해 최종화하고, 종료 사유가 포함된 청크가 있는지 확인하세요(OPENAI 스트리밍에서는 마지막 청크에 종료 사유가 포함되는 경우가 많습니다). finish_reason: "stop"
출력이 보이지만 예상하지 못한 추론 흔적(예: 숨겨진 토큰이나 내부 사고 과정)이 포함되어 있다면, “thinking” 모델을 호출했지만 다음을 처리하지 않았을 가능성이 있습니다 reasoning_content이런 경우 출력에 체인 오브 소트처럼 보이는 내용(특수 토큰으로 구분되었거나 일반 텍스트 형태)이 ��함된 것을 확인할 수 있습니다. 이를 해결하려면 비-싱킹 모델로 전환하거나, 최종 출력에서 추론 내용을 분리해 무시하도록 코드를 조정하세요.

대안적 사용 사례와 도구

W&B Weave: Weave는 W&B의 대화형 대시보드이자 분석 도구입니다. 모델 출력과 지표 등 결과를 Weave로 스트리밍하고, 이를 시각화하는 맞춤 대시보드를 만들 수 있습니다. 예를 들어 프롬프트 길이별 응답 시간을 보여주는 패널을 만들거나, Non-thinking 모드와 Thinking 모드의 답변을 나란히 비교하는 표를 구성할 수 있습니다. Weave는 결과를 다양한 관점에서 분할·집계하여 인사이트를 얻는 데 매우 유용합니다.
W&B 모델:" Models 기능은 모델 레지스트리와 같습니다. 모델에 버전을 부여하고 메타데이터와 함께 모델(또는 모델에 대한 참조)을 저장할 수 있습니다. DeepSeek V3.1 자체는 대규모 공개 모델이므로 W&B에 업로드하지는 않겠지만, 더 작게 디스틸된 버전을 미세 조정하거나 상호작용 체크포인트를 관리할 수 있습니다.

import weave

weave.init(project="deepseek_v3_eval", name="mode_comparison_run")

questions = [
    {"prompt": "What is 5 + 7?", "mode": "non-thinking"},
    {"prompt": "Explain the significance of the number zero in mathematics.", "mode": "non-thinking"},
    {"prompt": "Explain step by step how to solve 5 + 7, and then give the answer.", "mode": "thinking"},
    {"prompt": "Explain the significance of the number zero in mathematics.", "mode": "thinking"}
]

import asyncio
import weave
from openai import AsyncOpenAI

weave.init("thinking-vs-nonthinking")

# DeepSeek client
client = AsyncOpenAI(api_key="your_deepseek_api_key", base_url="https://api.deepseek.com")

# dataset
questions = [
    {"id": "0", "prompt": "What is 5 + 7?", "mode": "non-thinking"},
    {"id": "1", "prompt": "Explain the significance of the number zero in mathematics.", "mode": "non-thinking"},
    {"id": "2", "prompt": "Explain step by step how to solve 5 + 7, and then give the answer.", "mode": "thinking"},
    {"id": "3", "prompt": "Explain the significance of the number zero in mathematics.", "mode": "thinking"},
]

# model wrapper
class DeepSeekModel(weave.Model):
    model_name: str

    @weave.op()
    async def predict(self, prompt: str) -> dict:
        resp = await client.chat.completions.create(
            model=self.model_name,
            messages=[
                {"role": "system", "content": "you are a helpful assistant."},
                {"role": "user", "content": prompt},
            ],
        )
        answer = resp.choices[0].message.content
        reasoning = getattr(resp.choices[0].message, "reasoning_content", None)
        return {"answer": answer, "reasoning": reasoning}

# trivial scorer
@weave.op()
def always_true(prompt: str, mode: str, output: dict) -> dict:
    return {"correct": True}


# pick models: one thinking, one non-thinking
nonthinking_model = DeepSeekModel(model_name="deepseek-chat")
thinking_model = DeepSeekModel(model_name="deepseek-reasoner")

# run eval with both
evaluation = weave.Evaluation(
    name="thinking-vs-nonthinking-eval",
    dataset=questions,
    scorers=[always_true],
)

print("=== Non-thinking eval ===")
print(asyncio.run(evaluation.evaluate(nonthinking_model)))

print("=== Thinking eval ===")
print(asyncio.run(evaluation.evaluate(thinking_model)))

막대 차트를 그릴 수도 있습니다 TimeTaken 동일한 프롬프트에 대해 비사고 모드와 사고 모드를 비교합니다(사고 모드는 더 오래 걸릴 수 있음).
또는 토큰 사용량 차이를 보여줄 수도 있습니다.
또는 표를 확인하여 정성적으로 비교할 수도 있습니다 Response 콘텐츠를 나란히 배치하기.



결론

요약 및 향후 방향

지속적인 고도화: DeepSeek V3.1 자체도 소규모 업데이트나 개선 사항을 받을 수 있습니다(예: V3.2). 특히 라이선스 측면(모델의 사용 권한을 더 명확히 해 주는 방향)과, 경우에 따라 모델 안전성이나 얼라인먼트 측면에서 그럴 가능성이 큽니다.
DeepSeek V4?" 더 크거나 더 발전된 모델이 곧 등장할지 궁금해하는 것은 자연스러운 일입니다. 어쩌면 DeepSeek V4가 파라미터 규모를 한층 더 확장하거나 추론 능력을 더욱 깊이 통합해 “생각 모드”와 일반 동작의 경계가 흐려질 수도 있습니다. 향후 모델들은 효율성에도 초점을 맞출 가능성이 있으며, 예를 들어 지식 증류 같은 기법을 활용해 V3.1의 성능을 더 작은, 배포가 쉬운 패키지에 담아낼 수도 있습니다.
커뮤니티와 생태계: 오픈 모델인 만큼, 앞으로의 발전은 커뮤니티에서 크게 이루어질 수 있습니다. 우리는 다음과 같은 모습을 볼 수도 있습니다 파인튜닝 버전 특정 도메인에 맞춘 DeepSeek V3.1의 파인튜닝 버전(예를 들어 생의학용 또는 법률 비서용 버전)도 기대할 수 있습니다. 이는 베이스 모델을 기반으로 특화된 과업에 맞게 적응시키는 방식입니다. 이미 LLaMA와 Qwen을 기반으로 한 DeepSeek-R1 증류 모델에서 그 조짐을 확인한 바 있습니다.

프로젝트에서 DeepSeek V3.1 사용하기, 그 강점을 적극 활용하세요.
실험하고 반복하세요 W&B와 함께 사용하면 프롬프트를 미세 조정하거나 사용 사례에 가장 적합한 설정을 결정하는 데 도움이 됩니다.
호기심을 잃지 말고 계속 배우세요AI 분야는 매우 빠르게 발전합니다. DeepSeek V3.1은 오늘 기준 최첨단이지만, 내일이면 새로운 논문, 새로운 모델, 새로운 기법이 등장할 것입니다. 여러분이 배운 많은 기법들(예: 프롬프트 엔지니어링, 출력 분석, 체인 오브 소트 활용, 실험 추적)은 앞으로 무엇이 나오더라도 그대로 이전하여 활용할 수 있습니다.

출처

https://huggingface.co/deepseek-ai/DeepSeek-V3.1