Skip to main content
wandb_fc
Projects
korean
Reports
동적 카메라 움직임을 포함한 단안 비디오에서의 인간 동작 분석

동적 카메라 움직임을 포함한 단안 비디오에서의 인간 동작 분석

이 글은 Ri Yu, Hwangpil Park, Jehee Lee의 논문 “Human Dynamics from Monocular Video with Dynamic Camera Movements”를 심층적으로 개요한다. 이 글은 AI 번역본입니다. 오역이 있을 경우 댓글로 알려 주세요.
Saurav Maheshkar
Created on September 15|Last edited on September 15



이 글에서는 Ri Yu, Hwangpil Park, Jehee Lee의 논문 “Human Dynamics from Monocular Video with Dynamic Camera Movements”를 심층적으로 살펴본다. 먼저 포즈 추정에 대해 설명한 뒤, 제안하는 방법을 개괄하고 인간 동역학 주제로 들어가겠다.
다음 내용을 다룹니다:

목차(클릭하여 펼치기)

포즈 추정이란 무엇인가?방법인간 동역학참고 문헌추천 자료


시작해 보겠습니다!

포즈 추정이란 무엇인가?

포즈 추정은 관절을 위치 추정하여 다양한 객체의 방향과 포즈를 추정하는 일반적 과제이다 (관절 구조). 자주 볼 수 있다 인간 게임 및 애니메이션과 같은 실제 활용 사례에서의 포즈 추정. 하지만 이 문제를 해결하는 것은 놀라울 만큼 어렵다. 왜 그럴까? 간단히 말하면:
  • 신체 다른 부위에 의한 강한 가림
  • 작고 거의 보이지 않는 관절 때문에 키포인트가 보이지 않게 된다
  • 의복, 체형, 조명에 따른 변이
  • “총체적”에 대한 전반적 필요(전역) 컨텍스트
  • 인간 신체의 높은 자유도(DOF)로 인해 가능한 포즈의 공간이 매우 크다
딥러닝은 다음과 같은 연구들에 의해 포즈 추정에 성공적으로 적용되었다 Jain 등(2013) 그리고 Toshev 등(2014) 다양한 학습 패러다임을 기반으로 사용하여 합성곱 신경망(CNNs)이는 효율성과 전역 문맥이 부족했던 기존의 “부위 기반 모델”(극단적인 전처리와 특징 공학에 의존한 관절별 모델)을 개선한 것이다. 기존 접근은 전체 포즈의 문맥 없이 특정 관절만을 모사해 한계가 있었다.
후속 연구인 계단식 피라미드 네트워크 Chen 등(2018)은 검출기를 통해 사람 바운딩 박스를 먼저 생성하고, 이어서 신경망으로 키포인트를 위치 추정하는 현대적 2단계 파이프라인을 따르며, 이러한 방법을 개선해 다중 인물 포즈 추정을 가능하게 했다.스켈레톤 생성) 이 바운딩 박스를 기반으로
2차원 포즈 추정은 2차원 포즈를 추정하는 과제인 반면 (x,y)\large (x,y)반면, 3차원 포즈 추정은 깊이 요인까지 포함해야 하므로 더 어려운 문제이며, 즉 3차원 포즈를 추정하는 과제이다. (x,y,z)\large (x, y, z). 3차원 포즈 추정의 많은 중요한 연구는 다음과 같은 방법론을 통해 전역 문맥에 의존한다 스켈레톤 피팅, 시계열 네트워크, 사람-물체 상호작용, 그리고 적대적 사전 지식.
오랫동안 광학식 모션 캡처 기반 데이터셋이 고품질의 인간 동작 데이터를 수집하는 데 사용되어 왔지만, 구축 비용이 매우 높고 설치가 어렵다는 문제가 있었다. 반면, 비디오는 손쉽게 접근할 수 있고 비용도 매우 낮아, 영상 기반의 인간 동작을 얻을 수 있는 즉시 사용 가능한 자료원이다.
그러나 영상 기반 자세 추정의 대부분 연구는 카메라가 고정된 단안 설정에서 촬영된 정지 영상이라는 가정을 바탕으로 하였고, 이러한 사전 지식과 캘리브레이션을 적극적으로 활용해 왔다.

방법

그림 1: 시스템 개요. (출처: 논문의 그림 2)
파이프라인은 비디오 클립 그리고 시뮬레이션된 캐릭터 모델 입력으로, 그리고 환경 모델 기하학적 프리미티브로 구성된다. 이 모델은 프리미티브와의 상호작용을 포함한 3D 인간 동작을 재구성하는 동안 장면 기하의 배치를 추정하는 데 도움을 준다.
총 5개의 모델이 사용된다.
  • 2D 포즈 추정기: 저자들은 사전 학습된 모델을 사용한다 OpenPose 프레임워크 2D 포즈를 예측하기 위해. 이러한 모델들은 대규모 데이터셋으로 사전 학습되었지만, 우리가 재구성하려는 동적인 동작(댄스, 파쿠르)과는 성격이 달아 때때로 실패한다. 이를 보완하기 위해, 2D 포즈 추정기는 다음과 같이 입력된다 0∘,90∘,180∘,270∘\large 0^{\circ}, 90^{\circ}, 180^{\circ}, 270^{\circ} 시간적 일관성과 신뢰도 값을 기준으로 최적의 포즈 출력을 선택하기 위해 각 프레임의 회전된 버전을 함께 처리한다.
  • 3D 포즈 추정기: 저자들은 사전 학습된 모델을 사용한다 VIBE 3D 포즈를 재구성하기 위해. 3D 포즈 추정이 실패하는 경우에는 선형 보간으로 누락된 포즈를 보완한다. 이렇게 추정된 3D 포즈는 물리 시뮬레이션에 적합한 형식의 신체 표현으로 변환되며, 역기구학.
  • 접촉 추정기: 이 방법들은 물리적 사전지식에 기반해 인간의 동역학을 학습하는 데 크게 의존하므로, 접촉은 상호작용을 학습하는 데 도움을 주는 중요한 정보원이다. 이전 연구인 렘페 외.정적 시점을 가정한 단안 영상에서 발-지면 접촉을 탐지하는 네트워크를 개발했던 이전 연구를 바탕으로, 저자들은 이 시스템을 동적 시점의 영상에서도 작동하도록 수정했다. 이 네트워크를 사용해 발의 높이와 속도에 기반한 접촉 레이블을 포함하는 렌더링 이미지를 생성하고, 이를 감독 학습으로 접촉을 추정하는 네트워크를 학습시킨다. 입력으로는 2D 포즈 추정기의 결과를 사용하며, 각 발 노드에 이진 값을 레이블링한다(포즈 추정기는 본질적으로 링크와 노드로 이루어진 그래프를 출력한다). 한편 손-물체 접촉 정보는 수동으로 제공된다.
  • 정책 학습기: 곧 자세히 다루겠다.
  • 장면 기하 구성기: 이것도요.

인간 동역학

그 우리 인간형의 동역학 모델은 비례-미분(PD) 서보로 제어되는 링크와 관절로 구성된 골격 형태이다. 우리의 목표는 앞선 파이프라인에서 제공된 추정 2D·3D 포즈, 접촉 레이블, 물체 상호작용 힌트를 바탕으로, 영상 속 3D 인간 동작을 모사하도록 학습하는 제어 정책(컨트롤러)을 학습하는 것이다.
만약 π(at∣st,e)\large \pi(a_t | s_t, e) 제어 정책으로서, 여기서 at\large a_t 는 동작이며 st\large s_t 어떤 시점에서의 동역학 모델의 상태이다 t\large t 어떤 환경에서 e\large e그러면 수행된 동작이 목표 포즈를 제공한다 qtˉ\large \bar{q_t} 해당 시점의 PD 제어를 위해 t\large t 의 형태로
qtˉ=qt^+at\huge \bar{q_t} = \hat{q_t} + a_t

여기서 q^\large \hat{q} 3D 포즈 추정에서 얻은 모든 관절 방향으로 구성된 기준 포즈인가요?
상태는 다음과 같은 형태의 집계 벡터로 정의된다:
st=[ϕt,pt,Rt,vt,ωt]\huge s_t = [ \phi_t, p_t, R_t, v_t, \omega_t]

여기서 : -
  • ϕt∈[0,1]\large \phi_t \in [0,1] 클립 길이로 정규화한 시간 값을 나타낸다
  • pt\large p_t 신체 링크의 위치를 나타낸다
  • Rt\large R_t 신체 링크의 방향을 단위 사원수로 나타낸다
  • vt\large v_t 선형 속도를 나타낸다
  • wt\large w_t 각속도를 나타낸다
환경 e\large e 장면 피팅 과정에서 유용하게 쓰이는 물체의 높이, 크기, 위치로 구성된 집계 벡터이다.

강화 학습 빠른 요약

딥러닝을 활용한 이산 시간 동역학 시스템을 빠르게 개요해 보자 강화 학습 패러다임
💡
우리는 제어 정책을 찾는다, 예를 들어 π\large \pi 할인된 누적 보상을 최대화하는 Vπ(s)\large V^{\pi}(s)어떤 시점에서든 t\large t, 어떤 상태에 있는 에이전트 st\large s_t 어떤 조치를 취할 것이다 at\large a_t. 환경 e\large e 그 결과로 해당 행동에 반응하여 상태를 다음과 같이 변경한다: st+1\large s_{t+1} 그리고 보상을 부여하며 rt\large r_t. 마찬가지로, 할인 인자를 적용해 모든 보상을 합산한 전체 정책의 할인 누적 보상 γ\large \gamma 다음과 같이 주어진다:
Vπ(st)=Es0=st,ai∼π[∑i=0∞γiri]γ∈[0,1)\huge V^{\pi} (s_t) = \mathbb{E}_{s_0 = s_t, a_i \sim \pi} \left[\displaystyle \sum_{i=0}^{\infty} \gamma^{i} r_i \right] \hspace{2em} \gamma \in [0, 1)

그리고 우리의 최적 제어 정책은 다음과 같다:
π∗=arg max⁡πVπ\huge \pi^{*} = \argmax_{\pi} V^{\pi}


보상 설계

대부분의 강화학습 알고리즘은 이 일반적인 틀을 따르며, 성패를 가르는 핵심 요인은 보상 설계이다. 이 논문에서의 보상은 많은 하위 항으로 이루어진 꽤 정교한 형태다. 자세히 살펴보자:

추정 자세의 안정적인 트래킹 rtrack\large r_{track} 

이 보상은 자세를 정확하게 추적하도록 유도하며, 5개의 하위 항으로 구성된다
  1. 자세: rq\large r_q 추정된 자세와 시뮬레이션된 자세가 잘 일치하도록 선호한다. 만약 q^\large \hat{q} 는 추정된 모델의 관절 각도 벡터이고 q\large q 는 시뮬레이션된 모델의 관절 각도 벡터이며, 이 보상은 다음과 같이 계산된다:
    rq=exp(−αq∣∣q^−q∣∣2)\large r_q = exp( -\alpha_q || \hat{q} -q ||^{2})
    
  2. 속도: rv\large r_v 추정된 속도와 시뮬레이션된 속도가 잘 일치하도록 선호한다. 만약 v\large v 는 유한 차분으로 계산한 관절 속도 벡터이다. 이 보상은 다음과 같이 계산된다:
    rv=exp(−αv∣∣v^−v∣∣2)\large r_v = exp(-\alpha_v || \hat{v} - v ||^2)
    
  3. 몸의 방향: rori\large r_{ori} 비디오에서 추정한 몸체 벡터와 시뮬레이션 결과가 잘 일치하도록 유도한다. 안정적인 상방 방향(비디오 전체에서 상방 방향은 하나뿐이다), 각도를 사용한다 θ^\large \hat{\theta} 시점의 위쪽 벡터 사이에서 vY\large v_Y(우리의 경우에는 영상 평면에서 위쪽을 가리키는 2D 벡터를 의미한다) 그리고 몸체의 위쪽 벡터 vb\large v_b 영상 평면에서 (우리의 경우에는 OpenPose로부터 얻은 골반에서 목까지의 2D 벡터를 사용한다)는 3D 공간에서 몸체의 위쪽 벡터를 유도하는 단서로 작용한다. θ\large \theta 캐릭터의 골반 관절 위치에서 머리 관절 위치로 향하는 벡터와 3D 공간의 y축 사이의 각도이다. 이 보상은 다음과 같이 계산한다:
    rori=exp(−αori∣∣θ^−θ∣∣2)\large r_{ori} = exp (-\alpha _{ori} || \hat{\theta} - \theta ||^2)
    
  4. 접촉: rcontact\large r_{contact} 추정된 접촉 상태와의 정확한 일치를 선호한다 c^\large \hat{c} 및 시뮬레이션된 접촉 상태 c\large c (우리의 경우에는 손과 발, 즉 네 개의 말단 효과기만 고려한다). 앞서 설명했듯이 이 상태들은 이진 플래그이며 다음과 같이 계산한다:
    rcontact=exp(−αc∑l∈{rf,lf,rh,lh}∣∣xor(cl^,cl)∣∣2)\large r_{contact} = exp \left( - \alpha_c \displaystyle \sum_{l \in \{ rf,lf,rh,lh \}} || \text{xor}(\hat{c_l}, c_l) ||^2 \right)
    
  5. 규제: rreg\large r_{reg} 이는 표준 L2 정규화를 사용하여 관절 토크를 최소화함으로써 과도한 힘과 불필요한 움직임을 방지하는 항이다. 만약 τ\large \tau 는 토크를 집계한 벡터이며, 이 보상은 다음과 같이 계산한다:
    rreg=exp(−αreg∣∣τ∣∣2)\large r_{reg} = exp \left( -\alpha_{reg} ||\tau||^2 \right)
    
따라서 전체 추적 손실은 다음과 같이 주어진다:
rtrack=wqrq+wvrv+worirori+wcontactrcontact+wregrreg\huge r_{\text{track}} = w_qr_q + w_vr_v + w_{\text{ori}}r_{\text{ori}} + w_{\text{contact}}r_{\text{contact}} + w_{\text{reg}}r_{\text{reg}}


정규화에 대해 더 자세히 알아보려면 다음 보고서를 참고하라:


장면 객체와의 좋은 정합 rscene\large r_{scene}

그림 2: rscene\large r_{\text{scene}} 보상 항목: 거리(왼쪽), 정렬(가운데), 질량중심(오른쪽)
이 보상은 전체 장면과의 좋은 정렬을 유도하며, 세 가지 하위 항으로 구성된다
  1. 거리: rdist\large r_{dist} 시뮬레이션된 말단효과기(손과 발) 이 원하는 객체와 접촉해 있다. 만약 pl\large p_l 말단효과기의 위치이며 Zl\large Z_l 는 대상 객체의 목표 영역(본 연구에서는 표면 중앙의 4분의 1 영역)이며, 이 보상은 다음을 사용해 계산된다:
    rdist=c^  exp(−αdist∑rf,lf,rh,lh∣∣mindist(Zl,pl)∣∣2)\large r_{dist} = \hat{c} \,\, \text{exp} \left( -\alpha_{dist} \displaystyle \sum_{\text{rf,lf,rh,lh}} || \text{mindist}(Z_l, p_l) ||^2 \right)
    
  2. 정렬 접촉 중일 때 캐릭터와 객체의 정렬을 선호한다. 만약 upelvis\large u_{\text{pelvis}} 골반의 전방 축을 따라 정의된 단위 벡터일 때, 이 보상은 다음과 같이 계산된다:
    ralign=c^  exp(−αalign∣∣1−upelvis⋅uobj∣∣2)\large r_{align} = \hat{c} \, \, \text{exp} \left( -\alpha_{\text{align}} || 1 - u_{\text{pelvis}} \cdot u_{\text{obj}} ||^2 \right)
    
  3. 질량중심: rcom\large r_{\text{com}} 캐릭터의 궤적 적합성을 알려준다. 만약 dee\large d_{ee} 착지 시점에서 질량중심과 말단효과기 사이의 거리이며, dobj\large d_{obj} 예상 질량중심과 예상 착지 위치 사이의 거리이며, 이 보상은 다음과 같이 계산된다:
    rcom=exp(−αcom∣∣dee−dobj∣∣2)\large r_{\text{com}} = \text{exp} \left( -\alpha_{\text{com}} || d_{ee} - d_{obj}||^2 \right)
    
거리 기반 보상 rdist\large r_{\text{dist}} 접촉 플래그가 켜져 있을 때에만 0이 아니다 (c^=1\large \hat{c} = 1).
시뮬레이션된 캐릭터가 기준 포즈와 접촉 타이밍을 완벽하게 추적한다면, dee\large d_{ee} 와 같다 dobj\large d_{obj}
💡
따라서 전체 장면 손실은 다음과 같이 주어진다:
rscene=wdistrdist+walignralign+wcomrcom\huge r_{\text{scene}} = w_{\text{dist}}r_{\text{dist}} + w_{\text{align}}r_{\text{align}} + w_{\text{com}}r_{\text{com}}


학습

가치 함수는 말한다 V\large V 및 제어 정책 π\large \pi 신경망으로 표현된다. 학습 중에는 경험 튜플들이 (st,at,st+1,r)\large (s_t, a_t, s_{t+1}, r) 는 Proximal Policy Optimization(PPO)을 사용하여 수집하고 업데이트한다.
균형 붕괴 튜플의 분포 불균형을 다루는 것이 중요하다. 캐릭터가 비틀거리다 넘어지면 해당 튜플은 학습에 쓸모가 없으므로, 캐릭터가 비틀거릴 경우 영상 종료 시점까지 기다리지 않고 시뮬레이션을 조기 종료한다. 저자들은 조기 종료 여부를 판단하기 위해 질량중심(CoM) 높이, 장애물과의 충돌, 기대 동작에서의 편차도 함께 모니터링하는데, 이는 표본 불균형 문제를 야기한다. 이를 완화하기 위해 경험 튜플은 시간 축에서 균등하게 추출한다.

장면 적합

정책 학습의 계산 비용은 입력 영상의 길이와 장면 내 객체 수에 크게 좌우된다. 저자들은 많은 객체가 등장하는 전체 영상을 대상으로 단일 정책 네트워크를 학습할 필요는 없으며, 대신 시간이 겹치는 더 짧은 구간들에 대해 정책 네트워크들의 ��서를 학습하는 편이 낫다는 것을 발견했다. 각 윈도우에서 학습할 때, 객체의 구성은 이전 객체를 기준으로 매개변수화한다.
저자들은 각 윈도우의 정책을 순차적으로 학습한다. 각 윈도우에 대한 가치망과 정책망의 학습이 끝나면, 해당 윈도우에서 누적 시야를 최대화함으로써 연속된 세 개 객체의 국소 배치를 네트워크로부터 추정할 수 있다.
따라서 전역적으로 일관된 장면 배치는 다음을 최대화한다:
e∗=arg max⁡e∑n=1Nfn(e)fn(e)=Vπn∗(s(tn−1),e)−Vπn∗(s(tn),e)\huge \begin{array}{ll} e^* &= \argmax_{e} \displaystyle \sum_{n=1}^{N} f_n(e) \\ f_n(e) &=V^{\pi^*_n} (s(t_{n-1}), e) -V^{\pi^*_n} (s(t_{n}), e) \end{array}

다음과 같은 조건에서:
  • N\large N 윈도 수이다
  • fn(e)\large f_n(e) 는 누적 보상이며 n\large n번째 창
  • πn∗\large \pi^*_n 의 최적 정책이다 n\large n번째 창
  • Vπn∗\large V^{\pi^*_n}정책과 함께 학습된 가치 함수이다
  • s(tn)\large s(t_n) 의 초기 상태이다 n\large n번째 창

참고 문헌

이 글에서 우리는 “동적 카메라 움직임을 갖는 단안 비디오로부터의 인간 동작 역학SIGGRAPH Asia 2021에 발표된 논문으로, 저자들은 기존 방법들의 정적 시점 한계를 극복하여 동적 시점의 비디오까지 처리할 수 있도록 하는 것을 목표로 했다.
이 방식은 카메라가 이동하는 피사체를 추적하도록 패닝, 틸트, 줌을 수행할 수 있게 해준다. 또한 저자들은 카메라 움직임에 어떠한 제약도 두지 않으므로, 영상에서의 신체 병진과 회전은 기준 좌표계의 절대 위치와 직접적으로 대응하지 않는다. 그럼에도 인간의 움직임이 물리 법칙을 따르기 때문에 추론은 가능하다.

추천 자료



이 글은 AI 번역본입니다. 오역이 의심되는 부분은 댓글로 알려주세요. 원문 보고서는 아래 링크에서 확인할 수 있습니다: 원문 보고서 보기

Created with ❤️ on Weights & Biases.

https://wandb.ai/wandb_fc/korean/reports/---VmlldzoxNDM5MTI4MQ
Made with Weights & Biases. Sign up or log in to create reports like this one.