시간 경과에 따른 예측 시각화

개요

모델 학습 또는 평가 중에 wandb.Table()에 메트릭, 이미지, 텍스트 등을 기록하세요
이 테이블들을 보기, 정렬하기, 필터링하기, 그룹화하기, 조인하기, 대화형으로 조회하기 등 다양한 방식으로 탐색하기
시간 경과에 따른 모델 예측 또는 결과 비교: 서로 다른 에포크나 검증 단계 간에 동적으로 비교하기
수준에서의 변경 사항 추적 예측 대상 훈련 중 특정 단계에서 데이터셋의 특정 예시들, 그리고 이를 동적으로 집계합니다
대화형으로 예측을 분석하여 오류 패턴과 개선 기회를 파악하세요. 동일한 모델의 시간 경과에 따른 변화나 서로 다른 모델 간의 차이를 비교할 수 있습니다.

새 모델을 기준선과 비교하고, 정답 예측을 제외한 뒤, 추정값 기준으로 그룹화하여 각 레이블별 시각적 예시와 함께 오분류 패턴을 확인하세요.

목차

wandb.Table 기록 방법
테이블 만들기
열 정의하기
각 예측 추가
아티팩트 동기화하기
테이블 시각화하기
기록된 아티팩트 탐색하기
테이블 열기
테이블 작업
테이블의 히스토그램
모델 예측 비교
스텝 간 비교
다른 모델 비교

1. wandb.Table 기록 방법

1.1 테이블 만들기: 의미 있는 스텝마다

1.2 열 정의: 각 예측 행에 무엇을 기록할지 결정하기

이미지 픽셀: 모델이 예측을 내릴 때 무엇을 보고 있나요?
모델의 예측 레이블 그리고 the 정답 레이블: 모델이 맞았나요?
이미지 id 데이터셋에서 단일 예시를 추적하고 여러 모델 버전 간 성능을 비교하세요. 대부분의 경우 서로 다른 Table 간 조인을 위해 고유한 식별자를 조인 키로 사용해야 합니다.데이터셋에 의미 있는 id가 없다면, 고정된 데이터셋 순서에서 해당 이미지의 인덱스를 id로 사용해도 됩니다.
모든 클래스에 대한 신뢰도 점수: 예측 분포를 시각화하고, 혼동 행렬을 생성하며, 오류 패턴을 찾아볼 수 있습니다.
예측이나 이미지에 대한 기타 메트릭으로서 기존 열에서 도출할 수 없습니다나중에 필요하지 않게 되면 열을 쉽게 제거할 수 있어요 :)

wandb.Table을 생성하는 예시 코드

# create a wandb Artifact for each meaningful step
# I use the unique wandb run id to organize my artifacts
test_data_at = wandb.Artifact("test_samples_" + str(wandb.run.id), type="predictions")

# create a wandb.Table() with columns for the id, image pixels,
# guess (model's prediction), the ground truth, confidence scores for all labels
columns=["id", "image", "guess", "truth"]
for digit in range(10):
    columns.append("score_" + str(digit))
test_table = wandb.Table(columns=columns)

1.3 각 예측을 행으로 추가하기

test_table.add_data(img_id, wandb.Image(img), guess, truth, *scores)    

1.4 아티팩트 동기화하기

# log predictions table to wandb, giving it a name
test_data_at.add(test_table, "predictions")
wandb.run.log_artifact(test_data_at)      

2. 테이블 시각화하기

이미지, 예측 레이블(추정값), 정답 레이블, 그리고 모든 신뢰도 점수를 확인하세요

상세 버전

2.1 로깅된 아티팩트 둘러보기

실행 워크스페이스를 엽니다(예: https://wandb.ai/stacey/mnist-viz/runs/1aufmxzf) 를 클릭한 다음, 왼쪽 사이드바에서 “Artifacts” 아이콘(팬케이크가 쌓인 모양)을 선택합니다.
해당 실행의 입력 아티팩트와 출력 아티팩트 목록이 표시됩니다. 이 예시에서는 5번의 검증 단계마다 아티팩트 버전(v0~v4)을 하나씩 기록하며, 각각 동일한 수의 학습 에포크 이후의 모델 성능을 평가합니다(v0는 1 에포크 후, v1은 2 에포크 후 등).



2.2 테이블 열기



2.3 테이블 작업

필터: 모델이 어디에서 틀렸을까요? Filter 버튼을 눌러 다음과 같은 표현식을 입력하세요 x["guess"] != x["truth"] 틀린 예측만 보려면
정렬 열에서: 특정 클래스에 대한 최고 신뢰도의 오류는 무엇인가요? 열 헤더의 점 세 개 아이콘을 클릭해 해당 열 기준으로 정렬하세요. 예를 들어 9처럼 보이는 4에 집중하려면 다음과 같은 표현식을 사용하세요 x["guess"] = 9 and x["truth"] = 4, 그런 다음 "score_9"로 정렬해 가장 혼란스러운 4를 확인하세요(아래 첫 번째 이미지)
그룹 열에서: 모델이 틀리는 패턴이나 가장 자주 발생하는 오류 유형이 있나요? 정답 추측을 모두 필터링한 뒤 (x["guess"] != x["truth"] ), "guess" 기준으로 그룹화해 예측된 클래스별로 정리된 예시를 스크롤해 보세요.
열 추가 파생 정보를 보려면: "guess" 기준으로 그룹화한 뒤, 헤더의 점 세 개 메뉴에서 열을 추가하고 편집하여 다음을 표시하세요 x["image"].count. 이제 이 파생 열로 정렬해 가장 많이 혼동되는 클래스를 확인할 수 있습니다(아래 두 번째 이미지). 또한 열 순서를 바꾸기 위한 임시 방편으로 중복 열을 추가해, 가장 관련 있는 정보를 나란히 확인할 수도 있습니다.
열 제거 필요하지 않다면

9처럼 보이는 4만 필터링하고, 이미지 가까이에 "score_9" 열을 추가한 뒤, "score_9" 기준으로 정렬하세요.

이 모델에서 가장 자주 틀린 예측은 9입니다. 실제 라벨의 히스토그램을 보면, 9로 혼동된 실제 클래스 중 가장 빈도가 높은 것은 4이고, 8로 혼동된 실제 클래스는 5가 가장 많습니다. 7로는 3이, 2로는 7이 가장 많이 혼동되며, 이와 같은 패턴이 이어집니다.

2.4 테이블의 히스토그램

이 모델은 4를 한 번만 틀리게 예측했습니다(마지막 행).

확대했을 때, 픽셀 없이 보면 두 번째 열의 실제 분포가 가장 유용합니다. 비대각선 셀들은 모델이 숫자를 혼동하는 지점을 보여줍니다. 예를 들어, 추정값 1에 대한 신뢰도 막대가 작지만 높게 나타나는 경우(점수 0, 두 번째 행, 세 번째 열)가 그렇습니다.

3. 모델 예측 비교

3.1 단계별 비교







나란히 보기: 왼쪽은 파란색, 오른쪽은 노란색



추가 학습 에포크를 거치며 동일한 예시에 대해 예측 레이블과 신뢰도 점수의 변화를 관찰하기
두 테이블을 동시에 필터링하고 그룹화하여 클래스별 오류 수 변화, 혼동 행렬, 가장 자주 혼동되는 레이블 쌍, 가장 어려운 오답, 레이블별 신뢰도 점수 분포 등 다양한 지표를 확인하세요.
재학습 없이도 정밀도와 재현율 같은 파생 정보를 담은 열을 추가할 수 있습니다.

3.2 서로 다른 모델 비교







테이블 비교 작업과 보기



질의응답