W&B 테이블 가이드

개요

모델 학습 또는 평가 중에 지표, 이미지, 텍스트 등을 wandb.Table()에 로깅하세요
이 테이블들을 조회하고, 정렬하고, 필터링하고, 그룹화하고, 조인하며, 대화형으로 질의하고, 그 밖의 방식으로 탐색하세요
시간 경과에 따른 모델 예측 또는 결과 비교: 서로 다른 epoch이나 검증 단계 전반에 걸쳐 동적으로 비교하기
수준에서의 변경 사항을 추적하다 예측 대상 훈련 중 특정 단계에서 데이터셋의 특정 예시들그리고 이를 동적으로 집계하세요
시간 경과에 따른 동일 모델 내부 또는 서로 다른 모델 간에서, 예측을 대화형으로 분석하여 오류 패턴을 파악하고 개선 기회를 발견하세요

새 모델을 기준 모델과 비교하고, 정답 예측을 걸러낸 뒤, 추정한 레이블별로 그룹화하여 각 레이블에 대한 시각적 예시와 함께 오분류 패턴을 확인하세요.

목차

wandb.Table을 기록하는 방법
테이블 만들기
열 정의하기
각 예측을 추가하세요
아티팩트 동기화하기
테이블 시각화하기
기록된 아티팩트를 탐색하기
테이블 열기
테이블 작업
테이블의 히스토그램
모델 예측 비교하기
스텝 간 비교하기
서로 다른 모델 비교하기

1. wandb.Table을(를) 로깅하는 방법

1.1 테이블 만들기: 의미 있는 스텝마다

1.2 열 정의하기: 각 예측 행에 무엇을 로깅할지

이미지 픽셀: 모델이 예측을 할 때 무엇을 보고 있나요?
모델의 예측 레이블 그리고 정답 레이블: 모델이 맞았나요?
이미지 ID 데이터셋에서 단일 예시를 추적하고 여러 모델 버전 간 성능을 비교하세요. 대부분의 경우 서로 다른 Tables 간에 조인 키로 사용할 고유 식별자가 필요합니다.데이터셋에 의미 있는 ID가 없다면, 고정된 데이터셋 순서에서 해당 이미지의 인덱스를 그대로 사용해도 됩니다.
모든 클래스에 대한 confidence score: 예측 분포를 시각화하고, confusion matrix를 생성하며, 오류 패턴을 찾아볼 수 있습니다.
예측이나 이미지에 관한 기타 지표들 기존 열에서 유도할 수 없음나중에 필요 없으면 열을 쉽게 삭제할 수 있어요 :)

wandb.Table을 생성하는 예시 코드

# create a wandb Artifact for each meaningful step
# I use the unique wandb run id to organize my artifacts
test_data_at = wandb.Artifact("test_samples_" + str(wandb.run.id), type="predictions")

# create a wandb.Table() with columns for the id, image pixels,
# guess (model's prediction), the ground truth, confidence scores for all labels
columns=["id", "image", "guess", "truth"]
for digit in range(10):
    columns.append("score_" + str(digit))
test_table = wandb.Table(columns=columns)

1.3 각 예측을 행으로 추가하기

test_table.add_data(img_id, wandb.Image(img), guess, truth, *scores)    

1.4 아티팩트 동기화하기

# log predictions table to wandb, giving it a name
test_data_at.add(test_table, "predictions")
wandb.run.log_artifact(test_data_at)      

2. 테이블 시각화하기

이미지, 예측 레이블(guess), 정답 레이블, 그리고 모든 신뢰도 점수를 확인하세요

상세 버전

2.1 로깅된 아티팩트 탐색하기

실행 워크스페이스를 열세요 (예: https://wandb.ai/stacey/mnist-viz/runs/1aufmxzf) 왼쪽 사이드바에서 "Artifacts" 아이콘(팬케이크 더미 모양)을 선택하세요.
실행에 대한 입력 아티팩트와 출력 아티팩트 목록이 표시됩니다. 이 예에서는 5번의 검증 단계마다 각각 아티팩트 버전을 하나씩(v0부터 v4까지) 로깅했고, 각 버전은 동일한 수의 학습 에포크 후에 모델 성능을 평가한 결과입니다(예: v0는 1 에포크 후, v1은 2 에포크 후 등).



2.2 테이블 열기



2.3 테이블 작업

필터: 모델이 어디에서 틀렸을까요? Filter 버튼을 눌러 다음과 같은 표현식을 입력하세요. x["guess"] != x["truth"] 잘못된 예측만 보려면
정렬 열에서: 특정 클래스에 대한 최고 신뢰도의 오류는 무엇일까요? 열 헤더의 점 세 개 아이콘을 클릭해 해당 열 기준으로 정렬하세요. 예를 들어 9처럼 보이는 4와 같은 특정 경우에 집중하려면 다음과 같은 표현식을 사용하세요. x["guess"] = 9 and x["truth"] = 4그런 다음 "score_9" 기준으로 정렬하여 가장 혼동되는 4를 확인하세요(아래 첫 번째 이미지).
그룹 열에서: 모델이 틀리는 패턴이나 가장 자주 발생하는 오류 유형이 있나요? 정답 추측을 모두 필터링한 뒤 (x["guess"] != x["truth"] ), "guess" 기준으로 그룹화하여 예측된 클래스로 정리된 예시들을 스크롤해 살펴보세요.
열 추가 파생 정보를 보려면: "guess" 기준으로 그룹화한 뒤, 헤더의 점 세 개 메뉴에서 열을 추가하고 편집하여 다음을 표시하세요. x["image"].count. 이제 이 파생 열을 기준으로 정렬해 가장 많이 혼동되는 클래스를 확인할 수 있습니다(아래 두 번째 이미지). 또한 열 순서를 임시로 바꾸기 위한 대안으로 열을 복제해 추가하면, 가장 중요한 정보를 나란히 볼 수 있습니다.
열 제거 필요하지 않다면

9처럼 보이는 4만 필터링하고, 이미지에 더 가까운 위치에 "score_9" 열을 추가한 뒤, "score_9" 기준으로 정렬하세요.

이 모델이 가장 자주 틀리게 예측하는 클래스는 9입니다. 실제 레이블의 히스토그램을 보면, 9로 혼동된 실제 클래스 중 가장 빈도가 높은 것은 4이고, 8로 혼동된 실제 클래스는 5가 가장 많습니다. 7로 혼동된 경우에는 3이, 2로 혼동된 경우에는 7이 가장 많으며, 이와 같은 패턴이 이어집니다.

2.4 테이블의 히스토그램

이 모델은 4를 오답으로 단 한 번만 추측했습니다(마지막 행).

확대해서 보면, 픽셀 없이도 두 번째 열의 실제 분포가 가장 유용합니다. 비대각선 셀들은 모델이 어떤 숫자들을 혼동하는지 보여줍니다. 예를 들어, 추측 1에 대한 고신뢰도 작은 막대가 점수 0에서 나타납니다(두 번째 행, 세 번째 열).

3. 모델 예측 비교

3.1 스텝 간 비교







나란히 보기: 왼쪽 파란색, 오른쪽 노란색



추가 학습 epoch을 거치며 동일한 예시에 대한 예측 레이블과 신뢰도 점수의 변화를 관찰하세요.
두 Table을 나란히 동일한 방식으로 필터링하고 그룹화하여, 클래스별 오류 수 변화, 혼동 행렬, 가장 많이 혼동되는 레이블 쌍, 가장 어려운 음성 샘플, 레이블별 신뢰도 점수 분포 등 다양한 지표의 변화를 확인하세요.
훈련을 다시 실행할 필요 없이 정밀도와 재현율 같은 파생 정보를 담은 컬럼을 추가하세요.

3.2 서로 다른 모델 비교







테이블 비교 작업과 뷰



질의응답