DeOldify로 사진 색채화하기
DeOldify와 W&B가 통합되었습니다! 이 글은 AI로 번역되었습니다. 오역이 있을 수 있으니 댓글로 자유롭게 알려주세요.
Created on September 15|Last edited on September 15
Comment
신경망을 이용한 전통적인 색채화는, 손실을 최소화하기 위해 평균적인 색을 예측하는 경향이 있어 결과적으로 갈색 계열의 밋밋한 색감이 나오는 경우가 많습니다.
GAN을 사용하면 정답이 아닐 수 있더라도 더 생생한 색을 쓰도록 모델을 유도하여, 결과적으로 더 현실적인 예측을 하게 됩니다.
우리는 최근 DeOldify에 W&B를 통합하여, 무대 뒤에서 어떤 일이 일어나는지 더 쉽게 이해할 수 있도록 했습니다.
다른 머신러닝 프로젝트와 마찬가지로, 풍부한 데이터셋을 갖추면 더 나은 결과를 얻을 수 있습니다. 다행히도 우리는 어떤 컬러 이미지든 그레이스케일로 변환하기만 하면 새로운 샘플을 만들 수 있습니다.
생성된 흑백 이미지를 입력하여 원래의 색채화된 버전을 예측합니다.
이 작업의 흥미로운 장점 중 하나는 라벨이 있는 데이터가 있어서 전통적인 지도 학습을 활용할 수 있다는 점입니다.
GAN 학습을 바로 시작하는 대신, 먼저 generator와 discriminator를 사전 학습합니다.
generator는 여러 단계에 걸쳐 이미지 해상도를 점진적으로 높이는 방식으로 학습합니다. 이렇게 하면 초기 단계에서 더 큰 배치 크기를 사용할 수 있어, 일반적으로 학습 속도가 빨라집니다.
색이 나오기 시작하지만, 모델이 무엇을 출력해야 할지 확신이 없을 때는 갈색 계열로 치우치는 경향이 있습니다(예: 침대 시트와 잔디를 구분하지 못할 때).
그다음에는 비평자(critic)를 사전 학습하는데, 이 단계의 목표는 어떤 이미지가 실제인지, 어떤 이미지가 사전 학습된 generator에서 나온 것인지 식별하는 것입니다.
마지막으로 전통적인 GAN 학습을 수행합니다.
다음 단계 시퀀스를 여러 번 반복합니다:
- 현재 generator 예측으로 샘플 생성하기
- 비평자 사전 학습
- GAN 학습에서 generator와 critic의 업데이트를 번갈아 수행하기
작성자는 현재 생성된 샘플을 보면서 GAN 학습을 언제 중단할지 수동으로 결정합니다. 어느 순간부터는 오히려 생성 이미지의 품질이 떨어지기 시작합니다.
실제로 작성자는 여러 차례의 실험을 거치며 각 단계에서 수행할 최적의 업데이트 횟수를 수동으로 결정하는 까다로운 작업을 반복하고, 만족스러운 결과에 도달할 때까지 이를 조정합니다.
이 저장소를 직접 실행해 보시길 강력히 권장합니다. 이 분석을 재현할 수 있는 코드와 전체 보고서는 여기에서 확인할 수 있습니다:
Add a comment