금융 기관에서 기반 모델을 활용하는 방법
은행과 기타 금융기관은 GenAI를 어떻게 활용하고 있으며, 귀 조직은 그들로부터 무엇을 배울 수 있을까
이 글은 AI로 번역되었습니다. 오역이 의심되면 댓글로 알려주세요.
Created on September 15|Last edited on September 15
Comment
이번 글은 이전에 게시한 글의 후속편입니다 제목은 GenAI 시대의 금융 리스크 관리나. LLM의 비결정적 출력을 다루기 위해 MRM 팀이 어떻게 진화하고 있는지 알아볼 수 있습니다.
💡
GenAI 모델은 거의 모든 산업을 변화시키고 있지만, 금융처럼 규제가 강한 산업에서는 도입과 운영에 더욱 신중한 접근이 필요합니다. 지난 글에서는 전통적 AI와 생성형 AI의 차이, 그리고 금융기관이 모델 리스크 관리에 초점을 맞춰 이러한 트레이드오프를 어떻게 관리하는지 살펴보았습니다. 오늘은 실제 현장 적용 사례, 시작하기 위해 갖춰야 할 요건, 그리고 전체를 효율적으로 관리하는 데 도움이 되는 도구들을 살펴보겠습니다.
금융 분야에서의 기반 모델 실제 활용 사례
더 똑똑한 투자를 위한 시장 동향 이해
GenAI 애플리케이션은 방대한 문서량을 처리하고, 인간이나 팀이 도저히 모두 파악할 수 없는 방대한 데이터 속에서 패턴과 인사이트를 찾아내도록 맞춤 설계된 분석 기능을 포함하는 경우가 많습니다.
내부 문서든 SEC 공시나 이사회 회의록 같은 공개 자료든, 어떤 기반 모델이든 미세 조정을 통해 귀사의 비즈니스 도메인, 데이터, 사용 사례에 맞는 맞춤형 출력이 가능하도록 만들 수 있습니다(미세 조정은 GPT 같은 사전 학습 모델을 특정 작업이나 특정 도메인에 맞게 다시 학습시키는 과정입니다). 일반적으로 팀은 이 데이터베이스 위에 질의응답 애플리케이션을 구축하여 비기술 사용자도 정보를 조회하고 투자 의사결정을 내릴 수 있도록 합니다.
여기서 가장 강력한 점은 이 데이터 검색이 동적이고 반복적으로 이루어질 수 있다는 것입니다. 일반적인 데이터베이스 질의와 달리, 검색은 정확히 일치할 필요가 없으며 의미 기반으로 이루어져야 합니다. 즉, 키워드 일치에 그치지 않고 모델을 활용해 질의의 의미를 이해하도록 하는 것입니다. 더불어, GenAI 애플리케이션의 대화 기능을 통해 투자 팀은 연속적인 탐색형 질문을 던지며 요청 범위를 점점 좁혀, 다른 방식으로는 발견하기 어려운 추세를 찾아낼 수 있습니다.
규제 체계 탐색
이와 매우 유사한 맥락에서, 여러 기관은 규제 환경을 더 잘 이해하고 준수하기 위해 방대한 법률 문서 코퍼스에 기반 모델을 미세 조정하고 있습니다. 정부 기관의 규정이든 내부 가이드라인이든, 새로운 규칙과 규제를 미세 조정용 데이터셋에 지속적으로 추가해 실시간으로 최신 상태를 유지할 수 있습니다.
마지막 부분이 매우 중요합니다. 기반 모델은 과거 데이터로 학습되기 때문에, 현장의 조건이 바뀌면 반응이 뒤처질 수 있습니다. 사전 학습된 LLM이 지난주에 제정된 새로운 법이나 다음 주에 발표될 규정을 알고 있으리라 기대할 수는 없습니다. 하지만 이러한 문서를 미세 조정 파이프라인에 손쉽게 추가하고, 위에서 설명한 것과 유사한 질의응답 애플리케이션을 팀이 사용할 수 있도록 제공할 수 있습니다.
이는 동일한 기본 전략의 두 가지 사례에 불과합니다. 즉, LLM을 미세 조정하고 기술팀과 비기술팀 모두가 즉각적이고 대화형 인터페이스에서 핵심 정보를 찾을 수 있는 방법을 제공하는 것입니다.
챗봇과 대화형 에이전트
챗봇은 오늘날 가장 흔한 사용자 대상 GenAI 애플리케이션일 것입니다. 챗봇을 구축할 때는 어떤 유형의 행동을 정확히 자동화할지부터 명확히 정해야 합니다. 챗봇은 직원의 업무 부담을 줄여 더 미묘한 질문에 집중할 수 있도록 해 주며, 하루 24시간 내내 운영될 수 있습니다.
대화형 에이전트의 일반적인 활용 예:
- 고객 지원챗봇은 계좌 잔액 조회, 거래 내역 확인, 대출 정보 안내 등 다양한 고객 문의를 처리할 수 있습니다.
- 사기 탐지 및 알림: 챗봇은 잠재적으로 의심스러운 거래를 사용자에게 알리고, 실시간 보안 관련 문의를 지원할 수 있습니다.
- 대출 또는 신용 지원챗봇은 대출 신청을 도와 사전 자격 확인, 대출 옵션 안내, 신용 신청 진행 상황의 실시간 업데이트를 제공할 수 있습니다.
- 다국어 지원챗봇을 비교적 덜 사용되는 언어로도 학습시켜, 사용자가 더 잘 이해할 수 있는 방식으로 지원을 받을 수 있게 할 수 있습니다.
대화형 에이전트를 학습할 때는, 원하는 질문에만 답하도록 하고 원래의 방대한 학습 데이터에 의존하지 않도록 하는 것이 중요합니다. 기초 모델은 난해한 정보도 많이 알고 있지만, 그런 내용을 사용자에게 이야기할 필요는 없습니다.
맞춤형 재무 계획
모든 질의에 답하는 단일 챗봇을 만들지 않는 편이 종종 더 바람직합니다. 대화에 따라 민감도나 뉘앙스가 달라지므로, 별도의 이니셔티브로 분리해 하나 또는 여러 모델이 협업하도록 설계해야 할 때가 있습니다. 재무 계획 에이전트가 이에 대한 대표적인 예입니다.
재무 계획 에이전트는 고객의 재무 목표, 현재 재무 상태, 향후 목표(은퇴, 교육 자금 등)를 평가하고 맞춤형 재무 계획을 수립하도록 도울 수 있습니다. 또한 해당 목표와 고객의 특정 위험 선호도나 윤리적 투자 고려 사항을 반영해 투자 조언을 제공할 수 있습니다. 상속 및 세무 계획을 지원하고, 시간이 지나면서 고객이 목표를 추적할 수 있도록 도와줍니다.
이러한 에이전트는 겉보기에는 단순한 대화형 UI를 통해 일반적인 챗봇과 비슷하게 작동하는 것처럼 보일 수 있습니다. 하지만 실제로는 훨씬 더 강력합니다. 우선, 이전 대화 기록을 보관하고, 일반 고객 지원 봇보다 훨씬 더 많은 정보에 접근할 수 있습니다. 또한 내부 문서나 특정 제품에 관한 정보를 고객에게 제공하는 등 위험이 없는 범위에서는 자율적으로 행동할 수도 있습니다. 적절한 가드레일을 적용하고, 모델 출력은 지속적으로 점검해야 합니다.
합성 데이터 생성
파운데이션 모델은 다른 모델의 성능 향상을 위해 필요한 합성 데이터를 생성하는 데 사용할 수 있습니다. 대표적인 예로는 이상 거래 탐지에의 활용이 있습니다.
사기는 흔하지만, 일상적으로 보면 전체 거래 중 사기 거래가 차지하는 비율은 극히 작습니다. 이로 인해 일부 모델은 과적합을 일으켜, 사기 거래를 오히려 정상 거래로 간주하는 상황이 발생할 수 있습니다. 사기 거래 데이터를 포함한 추가 데이터를 생성해 학습에 활용하면 사기 탐지 모델을 보강하고 과적합 가능성을 줄일 수 있습니다.
파운데이션 모델로 생성한 합성 데이터의 일반적인 활용 사례는 이 밖에도 많습니다. 예를 들어, 신용 이력이 희소한 개인이나 기업의 합성 프로필을 만들어 신용 점수 산정 알고리즘을 테스트할 수 있습니다. 트레이딩 플랫폼이나 은행 업무에서 이상 탐지 시스템을 검증하는 것도 대표적입니다. GenAI 애플리케이션은 드물게 발생하는 사건이나 이상 행태(비정상적인 거래량, 급격한 가격 급등, 시스템 장애 등)를 생성해, 실시간 운영을 모니터링하는 시스템을 정교하게 튜닝하는 데 도움을 줍니다.
대출 신청자를 위한 리서치
금융 기관은 잠재 대출 신청자에 대해 방대한 리서치를 수행하며, 이 과정의 상당 부분은 외부와 내부를 막론하고 동일한 데이터베이스에서 같은 항목을 반복적으로 확인하는 정형 업무입니다. 여기에서 GenAI 애플리케이션이 큰 도움을 줄 수 있으며, 특히 RAG(검색 증강 생성, retrieval-augmented generation)라는 일반적인 기법을 결합하면 효과가 더욱 커집니다.
요지는 RAG를 사용하면, 원래 학습이나 파인튜닝에 포함되지 않았던 외부 데이터베이스를 모델이 참조할 수 있게 된다는 것입니다. 예를 들어, 이 문맥에서는 모델에 간단한 웹 검색 기능이나, 파운데이션 모델 학습에는 사용하지 않았지만 내부에서 운영 중인 데이터베이스에 대한 접근 권한을 부여할 수 있습니다.
즉, 대출 신청자에 대한 지루한 리서치를 팀이 직접 수행하는 대신, 애플리케이션이 관련 데이터셋을 폭넓게 조회해 필요한 정보를 자동으로 채워 넣을 수 있습니다. 최종 의사결정에는 여전히 전문가의 참여가 필요하겠지만, 그들은 결정을 내리는 데 필요한 정보를 찾느라 시간을 낭비하는 대신 본인의 전문성을 발휘하는 데 집중할 수 있습니다. 이와 유사한 방식으로 내부용 또는 고객용 각종 금융 문서를 대량으로 생성하는 데에도 활용할 수 있습니다.
Weights & Biases와 함께 컴플라이언스를 지키며 GenAI로 혁신하기
금융 분야에서 GenAI 애플리케이션을 구축할 때의 여러 과제를 살펴봤지만, 대부분의 기술적 과제는 결국 모델과 그 출력물을 설명하고 해석하는 역량으로 귀결됩니다.
많은 기관에서는 파운데이션 모델을 활용한다는 것이 곧 팀의 더 많은 구성원이 이러한 모델의 출력에 접하는 애플리케이션을 구축한다는 뜻임을 유념해야 합니다. 이는 개별 고객 상담원, 대출 심사팀, 그리고 기술 역량이 상대적으로 낮은 시장 애널리스트까지 모두를 포함합니다.
W&B Weave 팀이 모델에 보낸 모든 프롬프트와 모델이 반환한 출력물을 추적할 수 있습니다. 모델 트레이스를 깊이 있게 분석하여 모델을 세밀한 수준에서 이해할 수 있으므로, 모델의 동작을 해석하고 설명하는 역량을 크게 높일 수 있습니다. 이는 새로운 행동, 까다로운 출력, 혹은 환각을 식별하는 데에도 도움이 되어, 팀이 이러한 상호작용을 디버깅할 수 있게 해줍니다.
W&B Models OpenAI와 NVIDIA를 비롯한 가장 혁신적인 머신러닝 기업들과 캐나다 로열뱅크, 스퀘어 등 수십 곳의 금융기관에 이르기까지, 오랜 기간 시스템 오브 레코드로 활용되어 왔습니다. W&B Models는 사전학습, 파인튜닝, 거버넌스, 운영 관리를 아우르는 AI 시스템 오브 레코드로서, 실험 단계부터 프로덕션까지 모델 수명주기를 관리해 출시까지의 시간을 단축합니다. 팀이 더 많은 실험을 수행하고, 결과를 대화형으로 분석하며, 더 높은 품질의 모델을 신속하게 구축할 수 있도록 돕습니다. Registry에서 모델, 데이터셋, 메타데이터, 그리고 그 계보를 중앙에서 추적해 거버넌스, 재현성, CI/CD를 지원할 수 있습니다. 학습, 평가, 배포에 대한 자동화된 워크플로는 팀 규모와 상관없이 빠른 반복을 가능하게 합니다.
업무에 가장 적합한 모델 선택
기관에서는 특정 사용 사례에 대해 서로 경쟁하는 파운데이션 모델을 비교 테스트하고, 서로 다른 작업을 해결하기 위해 여러 LLM(또는 동일 계열의 다른 버전)을 함께 사용하는 일이 흔합니다. 모든 문제가 최첨단 모델을 요구하는 것은 아니며, 대규모 운영에서는 비용과 속도 측면의 고려 사항도 매우 중요하기 때문입니다.
W&B Weave는 이러한 모델을 평가하는 데 뛰어납니다. 동일한 입력 프롬프트로 전체 성능을 분석하고 개별 모델 출력물을 비교할 수 있습니다. 개별 출력으로 깊이 들어가 평가 지표를 대조해 볼 수 있습니다. 실험 간을 오가며 모델 지연 시간, 모델 요약, 전체 집계 지표도 확인할 수 있습니다. 또한 점수가 어떻게 산출되었는지 확인할 수 있도록 코드를 항상 제공합니다. 내부 전문가에게 개별 출력을 평가하도록 요청해 엄지손가락 위/아래로 간단히 승인 또는 비승인을 표시하게 할 수도 있습니다. W&B Weave는 비용과 지연 시간을 추정해 사전에 트레이드오프를 이해하도록 돕습니다.
조직 전반의 AI 추진 속도 높이기
W&B Weave는 개발자가 생성형 AI 애플리케이션을 자신 있게 제공할 수 있도록 평가, 모니터링, 지속적 반복을 지원합니다. W&B Weave는 AI 개발자가 AI 워크플로를 실행할 수 있게 해주는 경량의 개발자 친화적 툴킷입니다.
강력한 애플리케이션 평가를 수행하고, 새로운 LLM의 변화 속도를 따라가며, 보안 협업 하에 프로덕션 환경의 애플리케이션을 모니터링할 수 있습니다. W&B Weave는 전통적인 소프트웨어 개발 도구의 한계를 넘어, 비결정적 LLM 기반 애플리케이션의 요구를 충족하도록 설계되었습니다. W&B Weave는 프레임워크와 LLM에 구애받지 않으므로 OpenAI, Anthropic, Cohere, Mistral AI, LangChain, LlamaIndex, DSPy, Cerebras, Google Gemini, Amazon Bedrock, Together AI, Groq 등 인기 있는 AI 프레임워크와 LLM을 코드 작성 없이 바로 사용할 수 있습니다.
W&B Models는 전통적 접근을 활용하는 팀을 위해, 조직 전체의 머신러닝 업무를 아우르는 견고한 시스템 오브 레코드로서 도움을 제공합니다. 이는 팀이 기반으로 삼는 파운데이션 모델을 파인튜닝해 애플리케이션을 구축할 때의 개발 속도 향상부터, 모델 개발자가 작업물을 리스크 관리 팀에 넘기는 단계까지 전 과정에서 효율을 높여 줍니다. 관련 정보를 중앙화된 시스템 오브 레코드에 로깅하면 협업과 재현성이 크게 개선되어, 수작업 인수인계를 줄이고 데이터 및 모델 계보를 체계적으로 보관할 수 있습니다. 그 결과, 더 빠르게 반복하고 디버깅할 수 있습니다.
모델 동작을 세밀하게 이해하기
파운데이션 모델은 비결정적이며, 대부분의 금융 기관이 익숙한 모델보다 내부 작동이 더 불투명합니다. 이러한 모델 위에 구축된 애플리케이션에서 사용자의 입력이 모델 출력으로 이어지기까지의 단계는 해석하기가 어려울 수 있습니다.
W&B Weave는 이러한 모델의 내부를 들여다볼 수 있게 해 주어 동작을 훨씬 더 이해하기 쉽게 만듭니다. 단순히 입력과 출력만 아는 것이 아니라, 파운데이션 모델이 어떻게 동작하는지 단계별로 보여 주는 대화형 시각화인 Trace를 확인할 수 있습니다.
이는 애플리케이션이 에이전트를 사용할 수 있는 활용 사례에서 매우 유용합니다. 에이전트는 순차적 추론을 수행하고, 웹 검색이나 내부 데이터베이스 질의와 같은 외부 도구를 자율적으로 활용할 수 있습니다(RAG 파이프라인이 대표적인 예입니다). Trace를 깊이 들여다보면 모델이 각 단계에서 어떤 행동이나 결정을 했는지 확인할 수 있어, 뛰어난 부분과 접근 방식을 업데이트해야 할 가능성이 있는 부분을 모두 파악할 수 있습니다. 이렇게 하면 모델 동작의 불투명성이 크게 줄어들고, 애플리케이션이 어떻게 작동하는지에 대한 설명 가능성이 훨씬 더 높아집니다.
규정을 준수하기
최고의 모델이라도 시간이 지나면 성능이 저하될 수 있습니다. 데이터 드리프트, 시장 환경 변화, 새로운 정보, 업데이트된 규정 등 어떤 이유에서든, 팀은 모델이 의도대로 동작하는지 확인하고 그렇지 않을 경우 신속히 디버깅하기 위해 세밀하고 상세한 추적이 필요합니다.
W&B Weave는 파운데이션 모델로 구축된 애플리케이션에서 이러한 작업에 특히 뛰어납니다. 애플리케이션에 들어가는 입력과 기반 모델에서 나오는 출력을 모두 캡처하기 때문에 모델 동작을 깊이 있게 파악할 수 있습니다. 이를 바탕으로 운영 환경에서 모델을 지속적으로 모니터링하고 검증하거나, 기대와 다르게 동작하는 모델을 디버깅할 수 있습니다. 예를 들어, 앞서 언급한 Traces 기능을 활용해 모델이 의사결정을 내리는 과정을 이해할 수 있습니다. 새로운 모델이 출시되면 기존 모델과 비교 테스트를 수행해 성능 향상이 있는지 확인할 수도 있습니다. 간단히 말해, 입력과 출력을 추적하지 않으면 빠르게 반복 개선하기 어렵고, 준수 요건과 성능을 모두 만족시키는 데에도 문제가 생깁니다.
W&B Models는 전통적 머신러닝 모델을 학습하거나 파인튜닝하는 조직에도 유사한 이점을 제공합니다. 팀은 모델 아키텍처, 하이퍼파라미터, git 커밋, 모델 가중치, GPU 사용량, 데이터세트, 예측 결과 등 모든 관련 정보를 추적·로그로 남기고, 협업 방식으로 모델 동작을 심층 분석할 수 있습니다. 정교한 데이터 및 계보(lineage) 추적을 통해 어떤 데이터세트가 어떤 모델에 영향을 주었는지, 복잡한 파이프라인에서 어떤 의존성이 존재하는지 명확히 파악할 수 있습니다. 이러한 정보는 모델 리스크 관리 팀은 물론, 규제 기관에 철저한 테스트와 적절한 데이터 사용을 입증하는 데에도 매우 중요합니다. 또한 실패 지점을 발견하고 디버깅하는 과정을 기존보다 훨씬 수월하게 만들어 줍니다.
결론
머신러닝 환경은 달라졌습니다. 금융 기관들은 점점 더 파운데이션 모델로 구축한 애플리케이션을 실험하고 배포하고 있습니다. 귀사의 조직도 최신 모델로 혁신할 수 있도록 현대적 도구가 필요합니다.
Weights & Biases는 파운데이션 모델로 애플리케이션을 구축하거나 전통적 모델을 학습하는 팀을 위해 엔드투엔드 솔루션을 제공합니다. 우리 플랫폼은 OpenAI, Cohere, Meta를 포함한 30개 이상 파운데이션 모델 개발사를 비롯해 수천 개 이상의 기업이 대규모 머신러닝을 운영 환경에 배포하는 데 사용하고 있습니다. 어떤 모델을 학습하든, 또는 최신 혁신을 추진하기 위해 어떤 파운데이션 모델을 사용하든, 저희가 도와드릴 수 있습니다.
자세히 알아보기 다른 금융 기관들이 Weights & Biases를 활용하는 사례 보기규정을 준수하면서 머신러닝 솔루션을 더 빠르게 배포하는 방법을 Weights & Biases가 어떻게 지원할 수 있는지 알아보고 싶으시다면 contact@wandb.com으로 문의해 주세요. 기꺼이 도와드리겠습니다.
Add a comment