커뮤니티 스포트라이트: Lightning Pod 시리즈
Lightning Pod 시리즈는 Lightning AI의 PyTorch Lightning을 W&B와 함께 사용하는 모든 사람을 돕기 위해 제작된 공개 저장소 세트입니다. 알아두면 좋은 핵심 사항은 다음과 같습니다. 이 글은 AI 번역본입니다. 오역 가능성이 있다면 댓글로 알려주세요.
Created on September 15|Last edited on September 15
Comment
이 글은 W&B가 연동된 커뮤니티 저장소 중 특히 주목할 만한 몇 가지를 소개하는 시리즈의 일부입니다. 본인의 저장소를 소개하고 싶다면 editor@wandb.com 으로 연락해 주세요.
💡
소개
‘현실 세계’에 대비가 안 된 것 같다는 느낌은 많은 졸업생이 공감하는 감정입니다. 특히 팬데믹 기간에 학위를 마친 이들에게는 그 불안이 더욱 커졌습니다.
많은 사람이 그냥 취업 전선에 뛰어들어 운에 맡기곤 하지만, 그 창작자인 Justin Goheen은 Lightning Pod 그리고 Lightning Pod Vision은 보다 실용적인 접근을 택했습니다. “졸업 직후 리서치 엔지니어링 직군의 면접을 보면서, 노트북 중심의 접근 방식만으로는 내가 지원한 역할을 수행하기에 준비가 부족하다는 사실이 분명해졌습니다. 그래서 면접에서 드러난 역량 격차를 메우기 위해 Lightning Pod 프로젝트를 만들었습니다.”라고 Justin은 말했습니다.
프로젝트를 오픈 소스로 공개한 것에 대해 Justin은 이렇게 말했다. “학습을 막 시작한 사람들에게도, 노트북에서 연구 중심의 프로그래밍에는 익숙하지만 Python 라이브러리 작성으로 전환하고 싶은 사람들에게도 유용하다고 판단해 저장소를 공개하고 지속적으로 관리하기로 했습니다.”
Lightning Pod란 무엇인가요?
간단히 말해, Lightning Pod는 새 PyTorch Lightning 프로젝트를 만들 때 기본으로 W&B 통합을 사용해 실험을 관리하도록 설계된 템플릿 저장소입니다. 이 프로젝트는 Python 라이브러리 형태로 구성되어 있어, 연구자와 엔지니어가 Lightning Pod를 클론한 뒤 가상 환경에 설치하기만 하면 성공적으로 작업하는 데 필요한 도구에 즉시 접근할 수 있습니다.
Lightning, PyTorch, W&B 외에도 Lightning Pod는 명령줄 인터페이스, 코드 포매팅, 테스트, 정적 타입 점검, git 훅에 도움이 되는 도구들을 함께 설치하여, 엔지니어와 연구자가 전문적이고 유지 보수가 용이한 코드베이스를 만들 수 있도록 돕습니다.
Justin의 작업은 여기서 끝나지 않습니다. Lightning Pod를 기반으로 한 Justin의 Lightning Pod Vision은 실제 Vision Transformers 프로젝트에서 Weights & Biases (W&B)와 PyTorch Lightning을 한층 더 세밀하게 다룹니다. 이 저장소는 다음을 중심으로 한 핵심 개념들을 깊이 있게 탐구합니다 W&B 로깅과 Sweeps Lightning App으로 구성하고 Plotly Dash로 결과를 시각화하는 것.
“가장 큰 목표는 사람들이 잠재적 고용주에게 포트폴리오 프로젝트로 보여줄 수 있는 무언가를 만들도록 돕는 것입니다.”라고 Justin은 말했다. 그는 이어 “Lightning Pod Vision의 기본 버전은 훌륭한 출발점이지만, 각자가 예제를 바탕으로 이해도를 보여 주고, 원하는 대로 포크한 프로젝트를 개선해 진정으로 자신의 것으로 만들길 바랍니다.”라고 덧붙였다.
Lightning Pod가 Weights & Biases를 사용하는 이유
W&B가 놀라울 정도로 많은 저장소(정확히는 9,000개 이상)와 빠르고 쉽게 통합된다는 것은 이미 잘 알려져 있습니다. 바로 그 편의성이 Justin이 실험 관리 도구로 W&B를 선택한 이유입니다. W&B 설정에는 몇 줄의 코드면 충분했고, 그 결과 모든 로그와 결과를 한곳에 모으는 중앙 공간을 갖게 되었으며—모델 학습 전 과정을 자세히 기록하는 체계적인 레코드 시스템을 제공하게 되었습니다.
개인적인 차원에서도 Justin은 구직 과정에서 W&B가 흔히 소개되는 것을 보고 W&B를 선택했습니다. 그가 지원하고자 했던 많은 회사가 이미 ML 워크플로의 일부로 W&B를 사용하고 있었기 때문입니다. Justin은 이렇게 설명합니다. “채용 공고에 필수 또는 우대 역량으로 명시된 도구를 배우는 것은 당연합니다. 바로 그 이유로 W&B 사용법을 배우기 시작했고, 사용하기에 정말 좋은 도구이자 Lightning과 통합되어 있기도 해서 제 개인 프로젝트에도 계속 활용했습니다.”
Lightning Pod의 다음 단계는?
다른 많은 저장소와 마��가지로, Lightning Pod와 Lightning Pod Vision의 핵심 초점은 유지 관리가 될 것입니다. Lightning, PyTorch, W&B에서 더 많은 릴리스가 나올수록 이러한 업데이트에 보조를 맞추는 것이 중요하며, 그래야 이 프로젝트가 당분간 유용성을 유지할 수 있습니다.
치열한 구직 시장의 요구에 맞춰 실력을 끌어올리려는 시도로 시작한 일이 곧 다른 사람들에게도 도움이 되는 프로젝트로 발전했습니다. Lightning Pod 시리즈는 W&B, Lightning, PyTorch와 함께 모델을 구축하고 학습하는 데 필요한 디딤돌을 제공하며, 이들은 모두 ML 분야에서 널리 사용되는 매우 인기 있는 도구들입니다.
Lightning Pod에 어떻게 참여할 수 있을까요?
기여를 넘어, Justin은 특히 서로 다른 환경에서 저장소를 계속 시도해 보고 Lightning 및 W&B 커뮤니티를 위한 새로운 예제를 만들어 주길 커뮤니티에 바라고 있습니다. 모든 피드백은 크게 환영하며, 프로젝트가 유용하고 관련성을 유지하는 데 큰 도움이 됩니다.
Justin은 W&B와 Lightning 사용자들이 두 도구 모두에 기여하길 권장합니다. 오픈 소스 기여가 자신의 역량 격차를 메우는 데 큰 도움이 되었고, 결국 Lightning AI에서 Developer Advocate로 합류하는 데도 밑거름이 되었기 때문입니다.
Add a comment