개방형 기후 수정으로 W&B를 통해 태양광 예측 개선
"우리는 여전히 워크플로를 개발하는 소규모 팀입니다. W&B는 이러한 많은 핵심 프로세스를 최적화하고 자동화하는 데 큰 도움이 되었습니다."
Jacob Bieker
Senior Machine Learning Research Engineer
재생 에너지 불확실성
눈보라가 온다면, 우리는 날씨 앱을 확인해서 얼마나 많은 눈이 우리에게 내리고 언제 내릴지 알아냅니다. 태양열 에너지 예보는 마찬가지가 아닙니다 . 예상치 못한 구름이 몰려오거나 기온이 떨어지면 태양열 발전이 크게 감소하여 전력망 운영자는 화석 연료 발전소에 의존하여 백업으로 여분의 에너지를 생산해야 할 수 있습니다.
런던에 본사를 둔 Open Climate Fix(OCF)는 기계 학습을 사용하여 더 나은 태양열 예측을 제공하고자 하는 희망으로 그 정확한 문제를 해결하기 위해 노력하는 비영리 연구 개발 연구소입니다. 이러한 과제를 해결하는 것은 가능한 한 빨리 탄소 배출을 줄이는 조직의 사명의 일부입니다.
다양한 배경과 ML 경험을 가진 소규모 팀으로서, 기술 스택이 유연하고 워크플로의 상당 부분을 자동화할 수 있도록 하는 것이 최우선 과제였습니다. 종단 간 ML 라이프사이클을 관리하도록 설계된 Weights & Biases는 실시간 협업 작업 공간, 강력한 실험 추적 시스템, 인기 있는 ML 프레임워크 및 도구와의 광범위한 통합을 통해 선택 플랫폼이 되었으며, 팀의 협업적이고 민첩한 실험을 확장했습니다.
연결 및 정렬
OCF의 선임 머신 러닝 엔지니어인 제이콥 비커는 “우리 프로젝트의 특성상 엔지니어들이 사일로에서 일하고 각자의 실험을 하는 경우가 많습니다.”라고 말했습니다. “이러한 사일로화된 ML 포켓이 있으면 팀 전체에서 지식을 공유하고 효과적으로 협업하기 어렵습니다.”
OCF는 이러한 사일로를 무너뜨리고 더 큰 속도와 규모로 더 나은 모델을 개발하고자 했습니다. 기후 위기가 빠르게 심화됨에 따라 속도와 영향이 중요합니다. 팀이 한곳에서 발견 사항과 결과를 공유하고 서로의 작업에 대한 가시성을 확보하고, 전체 팀에서 ML 작업의 불투명성을 제거하면서 공유와 아이디어 창출 문화를 만드는 방법을 찾는 것이 필수적이었습니다.
팀 협업을 위해 구축된 Weights & Biases는 모델과 파이프라인부터 실험과 데이터 세트까지 모든 것을 OCF의 단일 기록 시스템으로 통합합니다. 팀은 메트릭과 로그로 모든 실험을 쉽게 추적하여 재현성과 투명성을 보장할 수 있습니다. 이를 통해 문제를 쉽게 감지하고 디버깅하고, 다양한 실행의 결과를 비교하고, 구축하는 모델이 올바른 방향으로 가고 있는지 여부를 측정할 수 있습니다. W&B를 중앙 집중화된 진실의 원천으로 활용하면 팀을 일치시키고, 커뮤니케이션을 위한 장소를 마련하고, 주요 의사 결정에 대한 문서를 제공하는 데 도움이 됩니다.
원활한 통합
OCF는 예측 도구에서 오픈 소스 기술을 사용하기로 약속했으며, 오픈 코드와 오픈 데이터가 기후 문제를 해결하는 데 매우 중요하다고 굳게 믿습니다. 팀에서 훈련한 모든 모델은 HuggingFace에 호스팅됩니다. W&B 통합과 결합하여 팀은 사용 편의성을 손상시키지 않고도 완전한 추적 가능성과 재현성을 위해 모델을 신속하게 훈련하고 모니터링할 수 있습니다.
OCF의 머신 러닝 연구원인 제임스 풀턴은 “제 작업에서는 HuggingFace에 있는 각 훈련된 모델에 대해 wandb 실행에 연결되어 전체 훈련 로그를 실제로 볼 수 있습니다.”라고 말했습니다. “모델 빌드의 하류에서 무슨 일이 발생하면 wandb 실행으로 문제를 쉽게 추적하여 디버깅 시간을 절약할 수 있습니다.”
미래는 밝다
우리가 사는 세상이 기후 변화, 증가하는 에너지 수요, 한정된 화석 연료 자원의 감소와 같은 과제에 직면해 있는 가운데, 태양 에너지는 이러한 시급한 문제를 해결하는 유망한 솔루션으로 부상하고 있습니다. 이는 OCF 팀이 작업하고 있는 것이 더욱 중요해지게 하는데, 이는 태양 예측의 신뢰성과 정확성을 구축하는 데 도움이 되기 때문입니다.
연구를 가속화하고 규모에 맞게 모델을 훈련하기 위해 OCF는 협업을 최적화하고 반복적인 모델 개발 프로세스를 지원하며 기존 기술 스택을 보완할 수 있는 도구가 필요합니다. W&B를 활용하면 팀은 더 많은 투명성, 표준화 및 중앙 집중화된 운영으로 혁신을 촉진할 수 있습니다.
James는 “우리는 여전히 워크플로우를 개발하는 소규모 팀이며, W&B는 이러한 핵심 프로세스의 최적화 및 자동화에 큰 도움이 되었습니다.”라고 말했습니다.