NeRF – 새로운 시점 합성을 위한 신경 복사장으로 장면을 표현하기
단일 장면의 학습된 신경 표현으로부터 신경망이 새로운 시점을 렌더링하도록 학습하는 과정을 확인해 보세요. 이 글은 AI가 번역한 기사입니다. 오역이 의심되는 부분이 있으면 댓글로 알려주세요.
Created on September 15|Last edited on September 15
Comment
에서 뷰 합성을 위한 신경 복사장 기반 장면 표현 논문저자들은 희소한 입력 시점 집합을 사용해 기본이 되는 연속적 볼륨 장면 함수를 최적화함으로써, 복잡한 장면의 새로운 시점을 합성하는 데서 최신 성능을 달성하는 방법을 제시한다.
이 알고리즘은 완전연결(비합성곱) 심층 네트워크를 사용해 장면을 표현한다. 네트워크의 입력은 단일 연속 5차원 좌표로, 공간 위치 (x, y, z)와 시선 방향 (θ, φ)이며, 출력은 해당 공간 위치에서의 볼륨 밀도와 시점 의존 방출 복사도(색상)이다.
이들은 카메라 광선을 따라 5차원 좌표를 질의해 시점을 합성하고, 고전적인 볼륨 렌더링 기법으로 출력된 색상과 밀도를 영상으로 투영한다. 볼륨 렌더링은 본질적으로 미분 가능하므로, 우리의 표현을 최적화하는 데 필요한 입력은 카메라 자세가 알려진 이미지 집합뿐이다. 저자들은 복잡한 기하와 외관을 가진 장면에서 사실적인 새로운 시점을 렌더링하도록 신경 복사장을 효과적으로 최적화하는 방법을 설명하고, 신경 렌더링과 시점 합성의 선행 연구를 능가하는 결과를 보여준다.
Add a comment