Horangi: W&B Korean LLM Leaderboard 4



대규모 언어모델(LLM)의 성능이 빠르게 발전하고 활용 영역이 넓어지면서, 이제는 단순한 지표만으로 모델을 평가하기 어려워졌습니다.
Horangi Leaderboard 4에서는 기존 벤치마크의 한계를 넘어, 모델의 세밀한 역량까지 구체적으로 들여다볼 수 있는 평가 체계를 구축하는 데 초점을 맞췄습니다.
이번 업데이트의 내용을 정리한 개발블로그는 이곳에서 확인하실 수 있습니다.
📊 전세계 LLM 모델들의 한국어 능력을 평가합니다. 언어이해능력, 응용능력 그리고 AI Alignment의 넓은 관점에서 평가합니다.
🔍 W&B의 Weave를 이용한 심층 분석을 확인하실 수 있습니다.
🎰 실시간으로 비교대상 모델을 선택할 수 있습니다.
🛣️ W&B의 Report에서 실제 실행한 실험으로 이동하여 그 내용을 확인할 수 있습니다.
🤫 평가 데이터로 비공개 평가를 진행하실수도 있습니다!
🌐👉 Read the English version here

무료 백서:"대규모 언어 모델(LLM) 평가를 위한 모범 사례”

이 백서에서는 Weights & Biases가 국내 최대 규모의 LLM 일본어 평가 리더보드인 Nejumi.ai를 개발·운영해 온 경험을 바탕으로, 생성 AI·LLM 평가의 베스트 프랙티스를 공유합니다.

Develop GenAI applications with confidence using W&B Weave

Building demos of Generative AI applications is deceptively easy; getting them into production (and maintaining their high quality) is not. W&B Weave is here to help developers build and iterate on their AI applications with confidence.

Free Guide: How to Train LLMs from Scratch

In this whitepaper, we’ll share what we’ve learned from an insider’s perspective.

Deliver AI agents with confidence: Strategies, ops, tooling, and best practices

Find out how you can leverage agent ops with W&B Weave to evaluate, monitor, and iterate on your AI agents, accelerating progress toward your business goals.

1. 평가 방법



1. 범용 언어 성능 (General Language Performance)

2. 가치 정렬 성능 (ALignmenT)

2. 종합 평가

2.1 전체 모델 리더보드

2-2. 30B 이하 모델 리더보드

3. 모델 성능 비교

4. 모델별 상세 내용 확인

5. 카테고리별 상세 확인

5. 1. 1 GLP - 기본언어성능

5. 1. 2 GLP - 응용언어성능

5. 1. 3 GLP - 지식, 질의응답

5. 1. 4 GLP - 추론 능력

5. 1. 5 GLP - 어플리케이션 개발

5. 2. 1 ALT - 제어성능

5. 2. 2 ALT - 윤리/도덕

5. 2. 3 ALT - 유해성 방지

5. 2. 4 ALT - 편향성 방지

5. 2. 5 ALT - 환각 방지