강화학습 vs 딥러닝 vs 지도학습: 종합 비교

목차

소개: 왜 차이를 아는 것이 중요한가



지도학습 정답 예시로부터 학습해 이미지 분류기나 스팸 필터 같은 일상적인 AI 시스템의 기반을 이룹니다.
딥러닝 (머신러닝의 하위 집합)인 딥러닝은 다층 신경망을 사용해 이미지, 음성, 언어 이해에서 획기적인 발전을 이끌었습니다.
강화 학습(RL) 환경으로부터의 시행착오와 피드백을 통해 학습하는 의사결정 에이전트(게임 플레이 AI나 로보틱스 등)를 구동합니다.

지도학습 기초

작동 방식: 모델은 학습 데이터에 대해 반복적으로 예측을 수행하고, 예측값과 실제 라벨 간의 오차를 줄이도록 내부 파라���터를 조정합니다. 시간이 지나면서 입력과 올바른 출력을 연결하는 패턴을 학습하게 됩니다.
작업: 지도학습은 다음과 같은 작업에 특히 탁월합니다 분류 (예: 이메일이 스팸인지 여부를 판별하는 것) 및 회귀 (예: 주택 가격 예측). 본질적으로, 입력과 그에 대응하는 정답 출력의 과거 사례가 있는 모든 문제는 지도학습으로 해결할 수 있습니다.
데이터 요구사항: 이 접근 방식에는 …가 필요합니다 대량의 라벨된 데이터데이터를 수집하고 라벨링하는 과정은 시간이 많이 들고 비용도 많이 들 수 있지만, 충분한 품질의 데이터가 확보되면 지도 학습 모델은 높은 정확도를 달성할 수 있습니다.
예시: 대표적인 알고리즘으로는 선형 회귀, 의사결정나무, 라벨된 데이터셋으로 학습된 신경망 등이 있습니다. 예를 들어, 수천 장의 고양이 대 개 이미지에 라벨을 붙여 신경망을 학습시켜 반려동물 사진을 분류하게 하는 것은 지도 학습 작업입니다.

딥러닝 기초

작동 방식: 딥러닝 모델은 인공 뉴런의 층으로 구성됩니다. 데이터는 입력층으로 들어가 여러 개의 은닉층에서 변환 과정을 거친 뒤, 클래스 레이블이나 수치 예측 같은 출력을 생성합니다. 학습 과정(대개 지도 학습 방식으로 수행됨)에서는 오차를 최소화하기 위해 연결 가중치를 조정합니다. The 딥 이러한 아키텍처는 얕은 모델(또는 수작업 특징)이 놓칠 수 있는 매우 복잡한 함수를 학습할 수 있게 해줍니다.
적용 범위: 딥러닝은 다음과 같은 작업에 주로 사용되는 기본 접근 방식이 되었습니다 비정형 데이터 – 이미지, 오디오, 텍스트 –처럼 전통적 방법으로는 패턴을 찾기 어려운 비정형 데이터에 특히 강합니다. 컴퓨터 비전, 자연어 처리, 음성 인식 등에서 뛰어난 성능을 보입니다. 예를 들어, 다음과 같은 모델들이 있습니다 합성곱 신경망(CNNs) 이미지 처리를 혁신했으며, 트랜스포머 (예: ChatGPT의 기반 모델처럼) 언어 과제를 혁신했습니다.
데이터와 연산 요구사항: 딥러닝의 대표적 특징 가운데 하나는 …에 대한 높은 필요성입니다 대규모 데이터셋과 막대한 연산 자원 (GPU/TPU). 딥 뉴럴 네트를 처음부터 학습시키려면 수백만 개의 라벨링된 예시와 막대한 연산 자원이 필요할 수 있습니다. 그러나 일단 학습이 완료되면, 이러한 모델은 최첨단 성능을 달성하며, 특정 작업(예: 이미지 분류)에서는 종종 인간 수준의 정확도를 능가하기도 합니다.
예시: 딥러닝의 고전적 예시는 이미지 분류입니다. 수백만 장의 라벨링된 이미지(고양이, 개 등)를 딥 뉴럴 네트워크에 입력하면, 모델이 스스로 구분하는 법을 학습합니다. 앞서 언급했듯이 GPT-4나 ChatGPT의 기반 모델 역시 딥러닝 모델로, 방대한 텍스트 데이터로 학습되어 언어 패턴을 익혔습니다.

강화 학습 기초

에이전트, 환경, 행동, 상태: 그 에이전트 은 학습자이자 의사결정자입니다(시뮬레이션 속 소프트웨어 “로봇”이거나 실제 로봇). 다음은 환경 은 에이전트가 상호작용하는 세계입니다(예: 게임, 물리적 방, 주식 시장 시뮬레이션). 임의의 시점에서 에이전트는 현재를 관찰합니다 상태 환경의 상태(상황을 나타내는 표현)를 관찰하고, 이어서 an 행동그다음 환경은 새로운 상태로 전이하고, 해당 행동의 즉각적인 이득을 나타내는 보상(숫자 점수)을 에이전트에게 제공합니다.
시행착오 학습 처음에는 에이전트가 어떤 행동이 최선인지 알지 못합니다. 다양한 행동을 시도하고 그 결과를 관찰합니다. 높은 보상으로 이어지는 행동은 강화(장려)되고, 벌점이나 낮은 보상으로 이어지는 행동은 억제됩니다.
지연 보상과 누적 반환: RL의 한 가지 어려움은 어떤 행동의 이점이 즉시 드러나지 않을 수 있다는 점입니다. 일부 행동은 장기적인 보상으로 이어집니다. 예를 들어 체스에서 한 수의 가치는 여러 차례의 수를 둔 뒤에야 나타날 수 있습니다. 에이전트는 최대화하려고 합니다 누적 보상 (반환이라고도 함) 즉각적인 보상만이 아니라 장기 누적 보상을 최대화해야 하므로, 에이전트는 앞을 내다보고 계획을 세우며 때로는 더 큰 미래 보상을 위해 단기적인 이익을 포기하는 법을 학습해야 합니다.
학습 목표: 감독 학습처럼 입력과 출력의 매핑을 학습하는 대신, RL 에이전트는 정책: 각 상태에서 취해야 할 최선의 행동으로의 매핑. 또는, 일부 알고리즘은 가치 함수상태로부터 미래 보상을 예측하고, 그 값을 의사 결정에 활용합니다.
대표 알고리즘: Q-learning, Deep Q-Networks(DQN), Policy Gradients 등 다양한 RL 알고리즘이 있습니다. 이들은 탐색 방식과 지식을 갱신하는 방법에서 차이가 있지만, 모두 상호작용을 통해 학습한다는 핵심 아이디어를 따릅니다. 예를 들어, Q-learning 각 상태-행동 쌍에 대해, 해당 상태에서 그 행동이 얼마나 좋은지를 나타내는 값을 학습합니다; 정책 경사 이 방법들은 보상을 최대화하기 위해 정책(의사 결정 전략)을 직접 조정합니다.

게임 AI: RL은 초인 수준의 게임 플레이어를 만들어냈습니다. AlphaGo DeepMind은 심층 신경망과 강화 학습을 결합해 바둑을 학습했고, 그 결과 세계 챔피언들을 이겼습니다. 아타리 게임 에이전트 픽셀 입력만으로 고전 비디오 게임을 플레이하도록 심층 강화 학습으로 학습되었습니다. OpenAI의 Dota 2 봇 그리고 AlphaStar StarCraft을 위한 것은 RL의 또 다른 획기적 성과입니다.
로보틱스: 로봇은 강화 학습을 통해 보행, 조작, 내비게이션을 학습합니다. 예를 들어, 로봇 개는 넘어지지 않고 앞으로 전진하는 움직임에 보상을 주는 방식으로 시행착오를 거쳐 걷는 법을 배울 수 있습니다. 산업 환경에서는 강화 학습을 활용해 로봇 팔을 최적화하여 조립 작업의 효율을 높일 수 있습니다.
자율주행과 제어: 주행 정책, 드론 비행, 자원 배분 문제 등은 복잡하고 동적인 환경에 적응하는 전략을 찾기 위해 RL을 활용할 수 있습니다.
금융 및 오퍼레이션스 리서치: RL은 장기 수익을 추구하는 주식 거래 에이전트에 적용되거나, 각 선택이 미래 결과에 영향을 미치는 물류 및 공급망 의사결정을 최적화하는 데 탐구됩니다.

강화 학습 vs. 지도 학습

학습 신호: 지도 학습은 ~로부터 학습합니다 명시적인 정답 출력 훈련 과정에서 “교사”가 정답(레이블)을 제공합니다. 반면 강화 학습은 각 단계마다 미리 정해진 정답이 없다대신 에이전트는 사후에 주어지는 보상/처벌 피드백을 통해 좋은 행동을 발견합니다. 각 행동에 레이블을 붙여 주는 감독자는 없으며, 피드백은 흔히 일련의 행동이 모두 끝난 뒤에야 지연되어 제공됩니다.
목표: 지도 학습의 목적은 예측 오차를 최소화하다 (예: 이미지를 올바르게 분류하기). 각 예시는 서로 독립적으로 다루며, 모델은 보통 예측의 순서를 고려하지 않습니다. 강화 학습의 목표는 누적 보상을 최대화하다, 본질적으로 일련의 행동에 걸친 계획을 수반합니다. 각 행동은 미래의 상태와 보상에 영향을 미칠 수 있으므로, 이 문제는 순차적 자연에서.
데이터 요구 사항: 지도 학습 모델은 입력–출력 쌍이 있는 과거 데이터셋으로부터 학습해야 하며, 성능은 그 데이터의 범위에 의해 제한됩니다. RL 에이전트는 사전 라벨링된 데이터셋이 필요 없으며, 종종 환경과 상호작용하여 자체 경험 데이터를 생성한다이는 RL이 경우에 따라 대규모 초기 데이터 없이도 시뮬레이션에서 처음부터 학습할 수 있음을 의미합니다. 그러나 RL은 필요할 수 있습니다 많은 시도 실행(실험) 환경에서 효과적으로 학습하기 위해, 이는 그 자체로 하나의 데이터 생성 과정입니다.
피드백 예시: 지도 학습에서는 “고양이”라고 라벨된 고양이 이미지를 모델에 보여 줬는데 모델이 “개”라고 예측하면 즉시 정답으로 수정해 주며, 이 직접적인 오류 신호가 모델을 업데이트하는 데 사용됩니다. 반면 RL에서는 에이전트가 차선적인 행동을 했을 때 즉각적으로 “정답 행동”이 주어지지 않습니다. 에이전트는 단지 더 낮은 보상을 받고, 그로부터 자신의 행동이 좋지 않았음을 추론해야 합니다. 예를 들어 로봇이 넘어지게 만드는 동작을 시도해 음의 보상(페널티)을 받으면, 그제야 해당 행동이 나빴음을 알게 됩니다. 돌이켜보면 그 행동이 나빴다는 것을.
언제 무엇을 사용할까? 사용 지도 학습 명확하게 정의된 예측 문제와 라벨링된 데이터가 있을 때(예: 이메일을 스팸/정상으로 분류, 과거 데이터를 바탕으로 내일 기온 예측). 사용 강화학습 에이전트가 학습해야 할 때 상호작용을 통해 목표를 달성하는 방법, 특히 피드백이 점진적으로 주어지고 전략이 중요한 경우(예: 게임 AI 학습, 적응형 제어 시스템). 주목할 점은, RL은 구현 난도가 높은 경우가 많으며 환경과 보상 구조를 신중하게 설계해야 한다는 것이다.

강화 학습 vs 딥러닝

접근 방식의 본질: 강화 학습은 프로세스 지향적인 – 상호작용을 통해 목표를 달성하도록 학습하는 것에 관한 것이다. 딥러닝은 모델 지향적인 – 다층 신경망을 사용해 데이터의 표현을 학습하는 것에 관한 것입니다. 다시 말해, RL은 어떻게 에이전트는 보상을 통해 학습하는 반면, 딥러닝은 무엇 에이전트(또는 어떤 ML 모델)가 복잡한 패턴을 학습하는 데 사용할 수 있는 것.
데이터 의존성: 딥러닝 일반적으로 필요로 합니다 대규모 데이터셋 학습용 데이터(특히 지도 학습 설정에서)가 필요합니다. 대량의 데이터를 수집한 뒤, 신경망을 학습시켜 패턴을 찾아내죠. In 강화학습, 에이전트는 종종 …을 통해 학습합니다 환경을 탐색하며, 따라서 반드시 거대한 레이블된 데이터셋으로 시작할 필요는 없습니다. 대신 실행 중에 데이터를 즉시 생성합니다. 그렇다고 해도 RL 역시 자체적인 방식으로 데이터 집약적일 수 있습니다. 복잡한 환경에서는 양질의 정책을 학습하기 위해 수백만 번의 상호작용이 필요할 수도 있습니다.
문제 도메인: 딥러닝 지각 과제에서 뛰어납니다: 시각, 음성, 언어 이해처럼 입력을 출력에 매핑하는 것이 목표인 작업(예: 이미지에 캡션 달기, 오디오 전사)에서 특히 효과적입니다. 강화학습 의사결정 과제에서 뛰어납니다: 게임 플레이, 로보틱스, 내비게이션처럼 최적의 방식을 설계하는 것이 목표인 작업에서 특히 효과적입니다. 시퀀스 행동의 시퀀스. 두 방식이 하나 또는 함께 쓰이는 과제들도 있습니다. 예를 들어, 자율주행 자동차는 도로 표지판을 인식하기 위해 딥러닝(이미지에 대한 지도학습)을 사용하고, 주행 결정을 내리기 위해 강��학습 또는 계획 알고리즘을 사용합니다.
통합: 서로 배타적인 개념이 아닙니다. 사실, 현대의 딥 강화학습 정확히 교집합에 해당합니다. 즉, 강화학습 프레임워크 안에서 딥 뉴럴 네트워크를 사용하는 것입니다. 딥러닝 모델은 RL에서 함수 근사기로 동작할 수 있으며(상태를 행동이나 가치 추정으로 매핑), 이를 통해 RL이 이미지 같은 고차원 입력을 다룰 수 있게 해줍니다. 반대로 “딥러닝 모델 내부에서 강화학습을 사용한다”라는 표현은 보통 쓰지 않습니다. RL은 상위 수준의 학습 패러다임이기 때문입니다. 다만 다음과 같은 기법들은 학습을 학습하기 또는 메타러닝 때때로 그 경계를 흐리기도 합니다.
학습 목표: 훈련된 딥러닝 모델(예: 이미지 분류를 위한 합성곱 신경망)은 정적인 함수를 제공합니다. 즉, 이미지를 입력으로 받아 레이블을 출력합니다. 훈련된 강화학습 에이전트는 정책 또는 동작을 지시하는 컨트롤러 행동 – 지속적으로 상태를 행동에 매핑하는 의사결정자입니다. RL 에이전트는 환경 속에서 연속적으로 동작하도록 설계된 반면, 딥러닝 모델은 보통 한 번 출력값을 내고 끝입니다.

딥 강화학습 vs. 딥러닝

딥 강화학습(Deep Reinforcement Learning, DRL): 이는 머신러닝의 하위 분야로, 강화학습 알고리즘은 딥 신경망으로 구동됩니다. DRL에서의 ‘딥’은 딥러닝 모델을 사용한다는 뜻이며(주로 RL에서 가치 함수나 정책을 근사하기 위해 활용), 그 장점은 DRL이 다음을 처리할 수 있다는 점입니다 복잡하고 고차원적인 상태 공간 – 예를 들어 게임 화면의 원시 픽셀 입력이나 로보틱스에서의 연속적인 센서 스트림처럼 – 기존의 전통적 RL이 어려워하던 데이터입니다. DRL 에이전트는 환경의 원시 관측값(예: 이미지)을 직접 받아서 행동을 선택할 수 있는데, 이는 신경망이 그 관측값을 해석해 어떤 행동이 좋은지 추정할 수 있기 때문입니다.
전통적인 딥러닝(RL 제외): 분류, 회귀, 생성 모델링과 같은 작업에 딥 신경망을 활용하며, 지도 또는 비지도 방식으로 수행됩니다. 모델은 주어진 입력에 대해 올바른 출력을 내도록 학습하지만, 그것은 환경에서 순차적인 결정을 내리지 않습니다예를 들어 딥러닝 모델은 영어 문장을 프랑스어로 번역할 수 있습니다. 이는 수많은 예시 번역을 통해 이러한 매핑을 학습한 것이지만, 그것은 행동하기 환경에서 보상을 받기 위해 행동하는 것이 아니라, 단지 올바른 번역을 출력하도록 학습될 뿐입니다.
목표와 평가: 에서 딥 강화학습에서는 에이전트가 환경에서 보상을 최대화하는 정도(예: 게임 점수, 과제 완료)로 성공을 측정합니다. 학습은 종종 더 까다로운데, 에이전트가 충분히 탐색하도록 보장하고 보상 신호가 원하는 행동으로 이어지도록 해야 합니다. In 딥러닝에서는 주어진 과제에서의 정확도나 오류율(예: 테스트 세트의 분류 정확도)로 성공을 측정합니다. 학습은 대규모 데이터에 대해 경사하강법으로 손실 함수를 최소화하는 과정이며, 평가가 상대적으로 더 명확합니다.
딥 강화학습의 활용 사례: DRL은 몇 가지 주목할 만한 실제(및 시뮬레이션) 성과 순수한 딥러닝만으로는 달성할 수 없는데, 그 이유는 그것들이 포함하기 때문입니다 학습 행동. 몇 가지 예시:
게임 인공지능(AI): DeepMind의 AlphaGo와 AlphaZero는 딥 RL을 활용해 바둑, 체스, 쇼기를 정복했습니다. Deep Q-Networks(DQN)는 픽셀 입력만으로 Atari 2600 게임을 학습해 다수에서 인간 수준의 성능을 달성하며 딥 RL 붐의 포문을 열었습니다. 이는 딥 신경망과 RL의 시행착오 학습을 결합해 거둔 성과였습니다.
로보틱스와 제어 DRL은 로봇 제어 정책을 종단 간으로 학습시키는 데 사용됩니다. 예를 들어, 카메라 영상만으로 로봇 팔을 직접 제어하거나, 드론에게 곡예 비행을 가르치는 방식입니다. The 딥 컴포넌트는 카메라 이미지나 복잡한 센서 입력을 해석하는 데 도움을 주고, RL 컴포넌트는 제어 전략을 도출합니다. 이를 통해 로봇은 시뮬레이션과 실제 환경에서의 반복 실험을 거치며 물체 잡기와 같은 작업을 스스로 학습할 수 있게 되었습니다.
자율주행 차량: 자율주행의 일부 측면, 예를 들어 차선 변경 시점이나 교차로 통과 방식과 같은 의사결정은 딥 RL로 연구되어 왔습니다. 이때 차량의 상태(센서로부터 얻은 정보)를 신경망에 입력하면 주행 행동이 출력됩니다. 보상은 경로 진행 정도와 안전성으로 정의할 수 있으며, 충돌 등에는 음의 보상을 부여합니다.
NLP와 대화 시스템: NLP에서는 지도 기반 딥러닝이 표준이지만, 연구자들은 언어 분야에도 RL을 적용해 실험합니다. 예를 들어, 성공적인 상호작용에 대해 보상을 받는 챗봇이 그런 사례입니다. 딥 RL 텍스트 생성이나 대화에서 정책을 최적화할 수 있으며, 이때 “보상”은 사용자 만족도나 대화 목표 달성이 될 수 있습니다.
딥러닝 활용 사례(비RL) 이미지나 음성 인식과 같은 작업에서는 여전히 표준 딥러닝이 최강입니다. 예를 들어, 딥 네트워크로 의료 영상을 기반으로 질병을 진단하거나, 딥 어쿠스틱 모델로 음성을 텍스트로 변환하는 작업은 보상을 위해 에이전트가 행동을 선택하는 문제가 아니라 하나의 예측을 정확하게 수행하는 문제입니다.

딥 강화학습: 무엇이며 왜 강력한가

이 네트워크는 …로 활용될 수 있다 정책 함수, 상태를 바로 최적 행동의 확률로 매핑하는 방식으로 (예: 딥 정책 네트워크 또는 액터-크리틱 기법)
또는 …로 활용될 수 있다 가치 함수(Q-함수) 근사기, 주어진 상태(또는 상태-행동 쌍)의 가치가 얼마나 좋은지 추정하는 방식으로 (예: 딥 Q-네트워크 (DQN))

이는 수동 특성 공학을 없앤다 복잡한 환경에서도 신경망은 정책을 학습하는 과정에서 중요한 특징(예: 게임에서의 상대 위치나 로봇 비전에서의 장애물)을 스스로 인지하도록 학습할 수 있다.
이는 RL을 적용할 수 있게 해준다 이전에 해결하기 어려웠던 문제들전통적인 RL은 거대한 상태 공간에서 어려움을 겪었다. 딥 RL 에이전트는 막대한 상태 공간을 가진 영역(예: 우주에 있는 원자 수보다 더 많은 가능한 상태를 지닌 바둑)에서 초인간적 성능을 달성했다.
DRL은 신경망을 활용한 근사 기법을 사용하는 Deep Deterministic Policy Gradient(DDPG) 등과 같은 접근법을 통해 조향 각도와 같은 연속적 행동 공간도 처리할 수 있다.
이는 …을 활용하여 딥러닝의 대규모 발전 도구와 하드웨어. TensorFlow/PyTorch와 같은 라이브러리와 GPU 가속은 딥 RL 모델을 효율적으로 학습하는 데 도움을 준다. 경험 재현과 타깃 네트워크 같은 기법은 학습을 안정화하여 딥 RL의 실현 가능성을 높여 준다.

추천 시스템: 딥 RL은 시간이 지남에 따라 사용자 행동에 적응하는 시스템을 구축하기 위해 활발히 연구되고 있다. 예를 들어, 시스템의 선택이 사용자의 다음 클릭에 영향을 미치는 뉴스나 동영상 추천처럼 상호작용 루프가 있는 경우가 그렇다. 에이전트는 사용자 상호작용(상태)을 관찰하고, 콘텐츠를 추천(행동)하며, 참여도에 기반한 보상(보상)을 얻는다.
산업 자동화: 제조나 운영 현장에서는 감독 학습용 라벨이 직접적으로 존재하지 않더라도, 처리량이나 비용 같은 보상을 측정할 수 있는 상황에서 AI 에이전트가 DRL을 활용해 공정을 최적화할 수 있다. 예를 들어 조립 라인의 파라미터를 동적으로 조정해 효율을 극대화하거나 폐기율을 최소화하는 방식이다.
헬스케어: 연구에서는 DRL을 치료 계획에 적용하는 방안을 탐구해 왔다. 에이전트가 시간에 따라 치료 결정(행동)을 제안하고, 보상은 환자의 건강 결과가 될 수 있다. 이는 진행 중인 연구 분야로, 복잡한 상황에서 헬스케어 의사결정을 개인화하고 최적화할 잠재력이 있다.

실습 튜토리얼: Python으로 배우는 딥 강화학습

설치 및 설정

!pip install stable-baselines3 gym wandb

import gym
from stable_baselines3 import PPO  # using PPO algorithm (you can use DQN as well)
from wandb.integration.sb3 import WandbCallback
import wandb

# Configure and initialize W&B
wandb.init(project="deep-rl-cartpole", name="PPO_CartPole_example", config={
    "env": "CartPole-v1",
    "algorithm": "PPO",
    "total_timesteps": 50000
})

환경 및 모델 설정

# Create the CartPole environment
env = gym.make("CartPole-v1")

# Initialize the PPO agent with a MLP policy (neural network) 
model = PPO(policy="MlpPolicy", env=env, verbose=1)

gym.make("CartPole-v1") 매 스텝마다 에이전트가 관측값(상태)과 보상을 받는 환경을 생성합니다.
PPO(policy="MlpPolicy", env=env) 기본 다층 퍼셉트론(MLP) 정책 네트워크를 사용해 행동을 결정하는 PPO 에이전트를 설정합니다. PPO(Proximal Policy Optimization)는 정책 경사 기반의 대표적인 딥 RL 알고리즘으로, 연속 학습 과제에서 안정적이고 범용적으로 활용됩니다.

에이전트 학습

# Train the agent for defined number of timesteps
model.learn(total_timesteps=50000, callback=WandbCallback())

결과 평가

obs = env.reset()
for step in range(1000):
    action, _states = model.predict(obs, deterministic=True)  # choose action
    obs, reward, done, info = env.step(action)  # take action in the environment
    env.render()  # render the environment (shows the cart-pole animation)
    if done:
        break
env.close()
wandb.finish()

우리는 무엇을 배웠을까요?

우리는 제어 과제를 학습하기 위해 RL 알고리즘(PPO)의 일부로 딥러닝 모델(신경망)을 사용했습니다.
에이전트는 시행착오(수많은 CartPole 에피소드)를 통해 학습하며 정책을 개선했습니다.
우리는 W&B로 과정을 로깅해 성능을 시각화했으며, 이러한 도구가 ML 실험에 어떻게 도움이 되는지 강조했습니다.

결론

지도학습 정답이 달린 예시로부터 학습하여 새로운 데이터에 대한 예측을 수행합니다. 정답이 있는 과거 데이터가 있는 과제(분류, 회귀)에 적합합니다.
딥러닝 은 강력한 기법으로(종종 지도학습 내에서 사용됨) 다층 신경망을 활용해 대규모 데이터셋으로부터 표현을 자동으로 학습합니다. 복잡한 데이터를 처리함으로써 컴퓨터 비전, 음성, 자연어 분야에서 최근의 AI 발전을 이끌었습니다.
강화학습 은 에이전트가 환경과 상호작용하며 보상과 페널티를 통해 의사결정을 학습하는 패러다임입니다. 연속적인 의사결정이 필요한 문제(로보틱스, 게임 등)에 가장 적합하며, 정답 레이블이 아닌 보상 신호만으로 최적화를 수행합니다.
살펴볼 때 강화학습 vs 딥러닝, RL은 행동 방식을 학습하는 것이고, 딥러닝은 신경망을 이용한 패턴 인식이라는 점을 기억하세요. 두 방법은 함께 작동할 수 있으며 실제로 그렇게 합니다. 많은 RL 성과가 풍부한 입력을 처리하기 위해 딥러닝을 활용하며, 이를 딥 강화학습이라고 합니다.
딥 강화학습 (DRL) 은 RL의 의사결정 능력과 딥 뉴럴넷의 함수 근사 역량을 결합해 두 분야의 장점을 모두 살립니다. DRL은 원시 픽셀 입력만으로 아타리 게임을 마스터하고, 전략 게임에서 인간 챔피언을 이기는 성과를 거두었으며, 로보틱스부터 추천 시스템에 이르기까지 다양한 분야에 적용되고 있습니다.
CartPole을 사용한 간단한 DRL 예제를 단계별로 살펴보며, Python으로 에이전트를 학습시키고 Weights & Biases로 학습 과정을 추적하는 방법을 보여주었습니다. 이를 통해 RL 에이전트가 실제로 어떻게 학습하는지, 그리고 딥러닝이 어떤 역할을 하는지(에이전트의 두뇌가 신경망임) 실습으로 확인했습니다.

참고 문헌

강화학습 완전 정복: 개요, 비교, 그리고 비즈니스 적용 사례
Weights & Biases – RL 통합 문서 
강화학습 완전 정복: 개요, 비교, 그리고 비즈니스 적용 사례
AI에서의 딥러닝 vs 강화학습 - PC 가이드