Northwestern Medicine은 W&B를 통해 시기적절하고 수준 높은 진료를 제공합니다.
"시스템 탭은 리소스를 효율적으로 할당하는 동시에 비용을 낮게 유지하는 방법에 대한 훌륭한 통찰력을 제공합니다. GPU 사용률이 95%를 넘지 않으면 최적화할 여지가 있다는 것을 알 수 있으므로 실험을 더 빠르게 실행하고 비용을 제어하는 데 도움이 됩니다. ."
Mozzi Etemadi
Anesthesiologist and Director of Advanced Technologies
헬스케어의 혁신
새로운 기술을 구현하는 데 있어서 의료 산업은 진전이 느린 것으로 알려져 있습니다. 이 분야는 전통적으로 레거시 시스템을 선호하며, 이를 대체하는 것은 종종 ‘이로운 것보다 해로운 것’이라는 사고방식으로 대응합니다.
그러나 Northwestern Medicine에서는 그 반대가 일어나고 있습니다. Northwestern Memorial HealthCare와 Northwestern University의 공유된 전략적 비전인 학술 의료 센터입니다. 25,000명이 넘는 직원 중 마취과 의사이자 Northwestern Medicine의 Advanced Technologies 책임자인 Mozzi Etemadi가 이끄는 소규모의 다학제 팀은 자연어 처리(NLP)를 사용하여 후속 조치 프로세스를 간소화하고 환자 결과를 개선하는 방법을 모색하고 있습니다.
지연 및 누락된 치료
의사들은 종종 환자들에게 매일 컴퓨터 단층촬영(CT) 스캔과 자기공명영상(MRI) 스캔과 같은 수십 건의 영상 검사를 후속 권장 사항으로 주문합니다. 하지만 의료 업무의 바쁜 특성상, 때로는 이러한 권장 사항이 간과되기도 하는데, 특히 즉각적인 조치가 필요하지 않은 경우 더욱 그렇습니다. 그리고 문제를 더 복잡하게 만드는 것은 환자의 소견과 권장 사항이 이와 같은 길고 광범위한 보고서에 기록되어 있다는 것입니다.
이는 다음과 같은 의문을 제기합니다. 발견 사항에 대한 후속 조치는 얼마나 자주 이루어집니까? 문헌에서 Mozzi와 그의 팀은 후속 조치 권장 사항의 약 3분의 2만이 처리되는 경향이 있으며, 불행히도 이는 보통 최상의 시나리오라는 것을 발견했습니다. 이와 같은 결함은 환자에게 끔찍한 결과를 초래할 수 있습니다.
다음은 한 가지 예입니다. 의사가 환자에게 12개월 후에 흉부 CT 검사를 받도록 권고하고 보고서에 기록합니다. 그 권고가 무시되고 환자가 암에 걸렸다는 것이 밝혀지면 진단이 늦어져 치료가 성공할 가능성이 낮아지고 생존 가능성이 줄어듭니다. 최악의 결과입니다.
후속 권장 사항이 처리되도록 하기 위해 팀은 후속 조치가 필요한 방사선학적 소견을 자동으로 식별하는 NLP 시스템을 만들기로 했습니다. 효율적이고 시기적절하며 양질의 환자 치료를 제공하는 것이 팀의 최우선 과제였습니다.
NM 결과 관리 AI
Mozzi와 그의 팀은 노련한 엔지니어 그룹이지만, 그들 중 누구도 이전에 딥 러닝(DL)에 대한 경험이 많지 않았습니다. 첫 번째 엔드투엔드 DL 프로젝트를 구축하기 위해 그들은 DL에 익숙해져야 했고, W&B는 그들의 학습을 촉진하는 데 중요한 역할을 했습니다.
“이 프로젝트를 시작했을 때, 우리 중 누구도 이전에 DL 모델을 구축한 적이 없었습니다. W&B를 사용하면서 교육이 크게 가속화되었고, 지식과 실험을 체계적으로 유지하는 데 도움이 되었습니다. 실험에 대한 구체적이고 세부적인 정보를 추적하고 올바른 길을 가고 있는지 빠르게 검증할 수 있었습니다.”라고 Mozzi는 말했습니다.
W&B의 직관적 시각화와 사용 편의성은 팀이 모델 개발 단계에 접어들면서 더욱 중요해졌습니다. 대부분의 실무자에게 있어 그들의 경험은 보통 “내 모델이 수렴할까요?” 또는 “배치 크기를 변경해야 할까요?”와 같은 질문에 답하는 데 도움이 될 수 있습니다. 하지만 DL을 막 시작한 엔지니어의 경우 그렇지 않은 경우가 많습니다.
팀이 훈련 프로세스를 더 잘 병렬화하고 대규모 데이터 세트에서 효율적인 훈련을 가능하게 하기 위해 변압기 기반 모델을 구축하기로 결정했을 때, 그들은 숙련된 실무자의 직관을 개발하기 위해 W&B에 의지했습니다. “우리는 W&B를 사용하여 워크플로를 설계했고, 차례로 시스템에서 다양한 매개변수의 영향을 이해하는 데 필요한 직관을 구축하는 데 도움이 되었습니다.”라고 Mozzi는 설명합니다.
에픽 통합
모델을 개발하는 것은 퍼즐의 한 조각일 뿐이며, 다음은 그것을 현실에 통합하는 것입니다. Epic은 병원에서 일반적으로 사용되는 전자 건강 기록 시스템입니다. 팀의 다음 과제는 모델을 Epic과 통합하는 방법을 찾는 것이었고, 그렇게 하기 위해 그들은 사용자 정의 인터페이스를 구축했습니다.
새로운 시스템이 얼마나 간단하고 효율적인지 확인해 보시려면, 그 작동 방식을 간략하게 살펴보겠습니다.
1) 보고서를 완료한 후 3분 이내에 의사는 Epic을 통해 알림을 받고 “후속 주문하기”를 클릭하여 결과 관리 시스템을 열 수 있습니다.
2 ) 다음으로, 환자에게 6~12개월 후에 흉부 CT 검사를 권장하고, 의사는 “수락”을 클릭하여 자동으로 검사를 주문하거나, 확인 사유를 선택하여 워크플로 루프를 닫을 수 있습니다.
3 ) 6개월에서 12개월 사이에 환자는 흉부 CT 검사를 받아야 한다는 것을 상기시켜주는 전자 메시지와 편지를 받게 됩니다.
AI 시스템을 개발하는 동안 W&B는 프로젝트와 관련된 모든 정보를 중앙에서 관리하는 단일 기록 시스템 역할을 했으며, 원시 데이터부터 최종 모델까지 전체 모델 개발 프로세스를 즉시 추적했습니다.
“W&B는 우리가 체계적으로 정리하고 모델을 추적하는 데 도움이 됩니다.” Mozzi가 말했습니다. “우리 팀은 훨씬 더 효율적인 방법이 있는데도 실험 추적을 위해 Excel이나 Post-it 노트를 사용하지 않을 것입니다.”
W&B의 또 다른 측면은 팀에 특히 도움이 되는 시스템 메트릭을 추적하고 시각화하는 것입니다. 전체 시스템 사용률을 주시할 수 있는 기능은 훈련 병목 현상을 식별하고 값비싼 리소스 낭비를 방지하는 데 도움이 됩니다. Mozzi는 “시스템 탭은 리소스를 효율적으로 할당하는 방법과 비용을 낮추는 방법에 대한 훌륭한 통찰력을 제공합니다. GPU 사용률이 95%를 넘지 않으면 최적화할 여지가 있음을 알고 실험을 더 빨리 실행하고 비용을 제어하는 데 도움이 됩니다.”라고 말했습니다.
Results Management 워크플로를 출시한 이후로 주문 의사와 5,000건에 가까운 상호작용을 생성했으며 완료까지 2,400건 이상의 후속 조치를 추적했습니다. 이 시스템은 하루에 수백 건의 방사선 보고서를 검토하고 매일 수십 건의 후속 조치 권장 사항을 식별합니다. 이 시스템이 정말로 생명을 구한다고 해도 과언이 아닙니다.
“마취과 의사로서 저는 종종 암 수술을 받는 환자를 돌봅니다. 저희 도구로 이상 소견이 발견된 환자를 돌볼 기회가 없는 달은 단 한 달도 없습니다.”라고 Mozzi는 말했습니다.
AI를 사용하고 임상 공간에서 문제를 해결하기 위한 이러한 이니셔티브의 구현은 의료 분야에서 AI의 가장 큰 약속, 즉 임상 워크플로와 운영 프로세스를 변화시키는 것을 강조합니다. 간단히 말해, 이 시스템은 두 가지 방식으로 가치를 더했습니다. 작업 수행 방식을 자동화하고 작업 수행 방식을 증강하는 것입니다.
헬스케어를 혁신하다
의료 분야가 AI 도입에서 다른 산업에 비해 뒤처져 있을지 몰라도, AI가 여러 측면에서 그 가치를 실제로 입증할 수 있는 궁극적인 시험장이 될 수 있습니다. 즉, 엄청난 재정적 어려움, 서류 작업 및 규제에 직면한 부문에서 생산성과 대응력을 높이고 동시에 생사가 걸린 상황에서 결과를 개선할 수 있습니다.
Northwestern Medicine이 의료 분야에서 AI의 잠재력을 최대한 실현하는 데 앞장서면서 유연하고 직관적인 MLOps 플랫폼을 갖는 것이 매우 중요합니다. W&B를 활용하면 팀은 실험과 혁신에 집중하는 동시에 모든 데이터, 실행, 학습된 모델, 모델 성능에 대한 메모가 보존된다는 안도감을 가질 수 있습니다. 그 외에도 W&B는 모델의 리소스 활용에 대한 완전한 가시성을 제공하여 성능을 크게 개선하고 효율성을 높일 수 있습니다.
의료 시스템이 의료 서비스 제공에 어려움을 겪고 재정적 부담에 직면해 있는 시기에, Northwestern Medicine은 산업 전반에 AI를 도입하여 혁신의 물결을 주도하고 있으며, W&B는 Northwestern Medicine이 이러한 변화의 최전선에 설 수 있도록 지원하게 되어 기쁩니다.