강화학습에서 안전 패널티 튜닝하기
이 글에서는 세 가지 작업(패턴 생성, 패턴 제거, 내비게이션)에서 서로 다른 부작용 패널티로 학습된 에이전트를 살펴봅니다. 이 글은 AI 번역본입니다. 오역이 의심되면 댓글로 알려 주세요.
Created on September 15|Last edited on September 15
Comment
이 글에서는 Weights & Biases를 사용하여 패턴 생성 과제를 탐구하고, 패턴 제거와 내비게이션까지 포함하여 서로 다른 부작용 패널티로 학습된 에이전트가 어떻게 성능을 내는지 살펴봅니다.
목차
패턴 생성
패턴 생성 과제에서 (append-spawn), 에이전트는 새로운 생명 셀로 파란색 격자를 채워야 합니다. 하지만 그 과정에는 많은 녹색 패턴이 가로막고 있으며, 전형적인 비안전 에이전트는 목표를 달성하려다 이 패턴들을 훼손하곤 합니다. 이 과제는 꽤 까다롭습니다! 안전한 에이전트는 위험한 행동을 취하지 않기 위해 작업을 포기하거나 절반만 수행해야 할 수도 있습니다.
우리는 다양한 부작용 임팩트 패널티 계수를 대상으로 스윕을 수행합니다. 에이전트는 보통 수준 이상의 보상을 얻거나 낮은 부작용을 달성하게 만들 수는 있지만, 두 가지를 동시에 달성할 수는 없습니다. 사실, 우리의 스윕에 포함된 모든 에이전트는 부정적 결합 점수에서 음수를 기록해, 아무 행동도 하지 않아 부작용이 전혀 없는 더미 에이전트보다도 성능이 떨어집니다.
append-spawn
패턴 제거
패턴 제거 과제는 패턴 생성 과제보다 훨씬 쉽고, 에이전트는 대체로 높은 보상과 높은(양의) 전체 점수를 얻는 경향이 있습니다. 성능과 안전성 사이의 트레이드오프는 패턴 생성 과제에 비해 훨씬 더 급격합니다. 부작용 패널티가 이 값이 비교적 작을 때에는 패턴을 제거하는 데 있어 에이전트의 안전성이나 성능에 큰 차이를 주지 않습니다. 하지만 일단 KaTeX parse error: Undefined control sequence: \gsim at position 9: \lambda \̲g̲s̲i̲m̲ ̲0.35, 성능은 급격히 떨어지고 부작용은 곧바로 거의 0에 수렴합니다. 이는 에이전트가 안전하게 행동하기 위해 보상을 포기하기로 결정했음을 시사합니다. 그러나 그 중간의 달콤한 지점은 없습니다. 안전성은 오로지 후 성능은 떨어집니다. 그 사이 구간에서는 안전성과 그리고 성능이 저하됩니다.
일반적으로 안전한 에이전트를 학습시키는 일이 성능과 안전성 사이의 올바른 균형만 찾으면 해결된다고 기대할 수는 없습니다. 이처럼 트레이드오프가 매우 급격하게 나타나는 경우에는, 성능과 안전성을 동시에 달성하도록 에이전트를 학습시키는 새로운 기법을 찾아야 합니다 그리고 안전합니다.
prune-spawn
내비게이션
마지막 벤치마크 과제는 내비게이션입니다. 내비게이션은 비교적 단순한 과제로, 중간 목표 없이 에이전트가 출구까지 도달하기만 하면 됩니다. 다만 내비게이션 레벨에는 에이전트의 경로를 가로막는 장애물(벽)이 훨씬 많이 배치되어 있어, 길을 찾는 일이 항상 간단하지만은 않습니다. 각 내비게이션 레벨은 두 개의 영역으로 구성됩니다. 하나는 진동하는 패턴으로 채워진 초록색 셀 영역이고, 다른 하나는 확률적으로 생성된 패턴을 가진 노란색 셀 영역입니다.
초록색 패턴은 매우 취약합니다. 그 옆을 지나가거나 관통해 걸어가면 대개 패턴이 깨지며, 붕괴하거나 혼란스럽게 확장됩니다. 반면 노란색 패턴은 훨씬 더 견고합니다. 에이전트가 이를 방해할 수는 있지만, 작은 교란은 곧 새로 무작위로 생성되는 패턴에 의해 사라지고, 교란의 흔적도 없어집니다.
여기서는 두 가지 매개변수에 대해 스윕을 수행합니다. 하나는 부수 효과 패널티입니다. 그리고 강화학습 할인율 . 패턴 생성 과제에서는, 우리는 계속해서 비교적 낮은 () 탐색형 에이전트가 새로운 패턴을 만들면, 비록 그 패턴이 이후 시간 단계에서 보통 우연히 파괴되더라도, 여러 단계에 걸친 상당한 보상을 받도록 했습니다. 만약 이 값이 컸다면, 에이전트는 패턴을 만드는 것과 그 패턴이 결국 파괴되는 것을 동등한 무게로 평가하게 되어 처음부터 패턴을 만들려고 하지 않았을 것입니다.
내비게이션에서는 패턴을 만들어도 보상이 없으므로, 우리는 더 큰 값의 더 먼 곳에 있는 출구를 찾도록 에이전트를 도울 수도 있습니다. 그러나 우리가 관찰한 바에 따르면, 전체 점수에는 일주일 정도의 의존성만 보입니다. 대신, 영향 패널티 계수가 훨씬 더 중요합니다.
부작용 영향 패널티 계수가 어떻게 설정되든, 내비게이션 에이전트는 안전하게 행동하는 법을 학습하지 못합니다. 영향 패널티를 크게 설정하면 부작용이 줄어드는 경향은 있지만, 그 규모는 여전히 상당합니다. 어떤 경우에도 에이전트가 견고한 노란 패턴을 안정적으로 통과하고 취약한 초록 패턴을 피하는 방법을 신뢰할 수 있게 학습하지는 못합니다.
견고한 패턴과 취약한 패턴을 구분하도록 에이전트를 학습시키는 것은 아직 해결되지 않은 진행형 과제입니다.
prune-spawn
Add a comment