Scikit-learn에서 분류기를 디스크에 저장하는 방법

소개

왜 중요할까요?

학습된 분류기를 디스크에 저장하기

scikit-learn에서 학습된 분류기를 디스크에 저장하는 단계

분류기를 학습하세요.
사용하십시오 joblib.dump() 또는 pickle.dump() 학습된 분류기를 디스크에 저장하기 위해서.

joblib.dump()와 pickle.dump()로 학습된 분류기 저장하기

from sklearn import svm
from sklearn import datasets
from joblib import dump

clf = svm.SVC()
X, y= datasets.load_iris(return_X_y=True)
clf.fit(X, y)

dump(clf, 'clf.joblib')

import pickle
from sklearn import svm
from sklearn import datasets

clf = svm.SVC()
X, y = datasets.load_iris(return_X_y=True)
clf.fit(X, y)

with open('clf.pkl', 'wb') as f:
    pickle.dump(clf, f)

각 저장 방식의 장단점

피클:

장점
보편성Python에 내장된 객체 지속성 시스템으로서, pickle 거의 모든 Python 객체를 직렬화할 수 있습니다.
사용이 쉽다: pickle Python에 기본으로 포함되어 있어 별도의 설치가 필요 없습니다. API가 간단하고 직관적입니다.
단점
효율성: pickle scikit-learn에서 흔한 NumPy 배열을 많이 사용하는 객체에는 그다지 효율적이지 않습니다.
보안: pickle 로딩 과정에서 임의 코드를 실행할 수 있으므로, 신뢰할 수 없는 출처에서 데이터를 로드하는 경우 잠재적인 보안 위험이 발생합니다. 따라서 신뢰할 수 없거나 인증되지 않은 출처에서 받은 데이터를 절대 unpickle 하지 마세요.
호환성: pickle 서로 다른 Python 버전 간의 호환성을 보장하지 않습니다. Python 2.x에서 생성한 pickle 파일은 Python 3.x에서 올바르게 로드되지 않을 수 있으며, 그 반대도 마찬가지입니다.

Joblib:

장점
효율성: joblib 는 NumPy 자료 구조를 사용하는 Python 객체의 저장 및 로딩에 최적화되어 있어, 다음보다 더 빠르고 메모리 효율적입니다. pickle 이러한 경우를 위해
디스크 사용량: 대규모 NumPy 배열의 경우 joblib 보다 적은 디스크 공간을 사용할 수 있습니다 pickle.
압축 직렬화: joblib 직렬화된 객체를 압축하는 내장 옵션을 제공하여 디스크 공간을 더욱 절약할 수 있습니다.
단점
범위: joblib 만큼 보편적이지는 않습니다 pickle 주로 대규모 NumPy 배열을 포함한 객체를 대상으로 합니다. 다른 Python 객체의 경우, pickle 더 적합할 수 있습니다.
설치: ~와(과) 달리 pickle, joblib Python에 내장되어 있지 않으며 별도의 설치가 필요합니다.
호환성: 마찬가지로 pickle, joblib 이전 버전과의 호환성을 보장하지 않습니다. 최신 버전으로 저장한 모델은 joblib 이전 버전에서는 로드되지 않을 수 있습니다.

Scikit-learn에서 분류기를 저장하는 모범 사례

버전 관리와 파일 관리

모델 파라미터와 메타데이터를 유지하는 것의 중요성

import wandb

# Initialize a new run
run = wandb.init(project="bookbinge_recommender", job_type="train")

# Create a new artifact with metadata
params = {"max_depth": 5, "n_estimators": 100} # replace with your model's parameters
metrics = {"accuracy": 0.95, "precision": 0.96, "recall": 0.94} # replace with your model's metrics
artifact = wandb.Artifact('recommender_model', type='model', description='Random forest classifier for book recommendations',
                          metadata={"parameters": params, "metrics": metrics})

# Add the model file to the artifact
artifact.add_file('clf.joblib') # or 'clf.pkl'

# Save the artifact
run.log_artifact(artifact)

# Finish the run
run.finish()

저장된 분류기 성능 최적화 팁

저장한 모델 압축하기: 둘 다 joblib 그리고 pickle 디스크에 모델을 저장할 때 모델을 압축할 수 있는 기능을 제공합니다. 압축을 활성화하면 모델을 저장하는 데 필요한 디스크 공간을 크게 줄일 수 있습니다. 이는 대규모 모델을 다루거나 디스크 공간이 중요할 때 특히 유용합니다.
효율적인 데이터 타입 사용하기효율적인 데이터 타입을 활용하면 저장한 모델의 크기를 더욱 줄일 수 있습니다. 예를 들어, 64비트 데이터 타입 대신 가능하다면 32비트 또는 16비트 데이터 타입을 사용하되, 모델 성능을 해치지 않는 범위에서 적용하세요. 이렇게 하면 모델의 메모리 요구량을 효과적으로 줄일 수 있어, 로드 시간과 실행 효율이 향상됩니다.
모델 가지치기 또는 양자화를 고려하기모델에서 중요하지 않은 가중치를 제거하는 가지치기나, 매개변수의 정밀도를 낮추는 양자화 같은 기법을 사용하면, 성능에 큰 영향을 주지 않으면서도 더 작고 로드가 빠른 모델을 만들 수 있습니다.
가능하다면 로딩을 병렬화하기여러 개의 모델로 구성된 앙상블이나 매우 큰 모델을 다루는 경우, 전체 로딩 시간을 줄이기 위해 병렬로 로딩하는 방안을 고려하세요. 물론 이는 시스템의 I/O 성능에 따라 달라집니다.
모델을 안전하게 보호하기모델을 공유할 때는 보안 측면도 반드시 고려해야 합니다. 모델 파일을 암호화하면 무단 접근을 방지할 수 있습니다. 특히 민감한 데이터나 독점 모델을 다룰 때는 적용된 보안 정책을 철저히 준수하세요.
하드웨어 가속 활용하기모델이 GPU나 TPU와 같은 전용 하드웨어 가속기가 있는 시스템에 배포되는 경우, 저장한 모델이 이러한 자원을 활용해 더 빠른 로드와 예측을 수행할 수 있도록 구성하세요.

디스크에서 저장된 분류기 불러오기

Artifact에서 저장된 분류기 불러오기

import wandb
run = wandb.init(project="bookbinge_recommender", job_type="evaluate")

# Download the model artifact
artifact = run.use_artifact('clf_model:latest')
model_path = artifact.download()

# Load the classifier model from the downloaded artifact
# ...

scikit-learn에서 디스크에 저장된 분류기를 불러오는 단계

사용하십시오 joblib.load() 또는 pickle.load() 디스크에서 분류기를 불러오기 위해서.
불러온 분류기를 사용하여 예측을 수행하십시오.

joblib.load()와 pickle.load()로 저장된 분류기 로드하기

from joblib import load

clf_loaded = load('clf.joblib')

import pickle

with open('clf.pkl', 'rb') as f:
    clf_loaded = pickle.load(f)

불러온 분류기를 예측에 사용하는 방법

predictions = clf_loaded.predict(X_new)

Scikit-learn에서 분류기를 저장할 때 자주 겪는 문제와 팁

분류기를 저장할 때 자주 겪는 문제와 예방법

호환성 문제 처리하기분류기를 한 버전의 scikit-learn으로 저장하고 다른 버전으로 불러오려고 하면 버전 차이로 인해 오류가 발생할 수 있습니다. 이러한 문제를 피하려면 분류기를 저장하고 불러올 때 항상 동일한 버전의 scikit-learn을 사용하는지 확인하십시오. 이 원칙은 모델에서 사용하는 다른 종속성에도 동일하게 적용됩니다.
대용량 파일 크기 관리일부 분류기는 파일 크기가 상당히 커질 수 있어 저장 공간 문제를 일으키고, 저장 및 로딩 속도를 저하시킬 수 있습니다. 저장된 모델을 압축하는 것은 실용적인 해결책입니다. 다음의 압축 기능을 활용할 수 있습니다 joblib 또는 pickle 파일 크기를 최소화하여 공간 효율을 높이고 로드 시간을 줄일 수 있습니다.
사용자 정의 함수 및 객체 처리하기분류기에 사용자 정의 함수나 객체가 포함되어 있다면, 저장된 모델을 로드할 때 동일한 스코프에서 이를 임포트하거나 정의해야 합니다. 이러한 사용자 정의 요소는 역직렬화 과정에 필수적입니다.

분류기 저장에 적합한 파일 형식 선택 팁

scikit-learn 모델에는 joblib 사용을 권장합니다: scikit-learn 모델은 대개 NumPy 데이터 구조를 포함하므로, 저장 및 로딩에서는 Joblib이 더 효율적인 경향이 있습니다.
압축 활용하기: 저장 공간이 걱정된다면, 저장된 모델을 압축할 수 있는 형식이나 방식을 선택하세요. 이는 디스크 공간을 절약할 뿐만 아니라 이식성도 향상시킵니다.

분류기 변경 사항 관리

버전 관리: Git과 같은 버전 관리 시스템이나 Weights & Biases Artifacts를 활용하여 분류기와 관련 파일의 변경 이력을 기록하세요. 이런 방식은 서로 다른 환경 간 일관성을 유지하고 협업을 촉진하며, 필요 시 손쉽게 롤백할 수 있도록 돕습니다.
메타데이터 유지 관리하이퍼파라미터, 전처리 단계, 성능 지표를 포괄적으로 기록하세요. Weights & Biases Artifacts API는 이러한 정보를 로깅하고 추적 가능성을 보장하며 투명성을 높이는 데 매우 유용합니다.

저장된 파일에 영향을 줄 수 있는 분류기 변경 사항과 이를 관리하는 방법

scikit-learn 업데이트 처리scikit-learn을 최신 버전으로 업그레이드하면 저장된 모델을 불러올 때 호환성 문제가 발생할 수 있습니다. 이 위험을 줄이기 위해 업그레이드 후 저장된 모델을 반드시 테스트하고, 필요하다면 라이브러리의 업데이트된 버전으로 모델을 다시 학습한 뒤 저장하세요.
사용자 정의 함수 또는 객체 수정분류기가 사용하는 사용자 정의 함수나 객체를 변경했다면, 저장된 모델과의 호환성을 반드시 확인하세요. 변경 사항이 호환되지 않는 경우, 분류기를 다시 학습한 뒤 업데이트된 버전을 저장하세요. 이렇게 하면 수정 사항이 저장된 모델의 성능이나 기능에 부정적인 영향을 주지 않도록 보장할 수 있습니다.