NeRF의 발전과 모션 블러 문제
최근 Neural Radiance Fields (NeRF)의 발전은 Multilayer Perceptrons (MLP)을 활용하여 장면을 묘사하고 새로운 시점에서 사실적인 뷰를 합성할 수 있도록 해줍니다. 그러나 입력 이미지의 수량과 품질이 저하되면 장면 복원이 실패하거나 고품질의 뷰 합성이 어려워집니다.
- NeRF는 약 360도 전방위에서 다수의 이미지를 기반으로 훈련되어야 최적의 결과를 제공하지만, 실제 응용에서는 이러한 조건을 만족시키기 어려운 경우가 많습니다.
- 최근 연구들에 따르면, NeRF의 성공적인 구현을 위해 필요한 이미지 수는 50~100장에 이를 수 있으며, 해상도와 정확도도 높은 수준을 요구합니다(François et al., 2022).
MBS-NeRF 프레임워크 소개
이러한 문제를 해결하기 위해 MBS-NeRF라는 새로운 프레임워크가 제안되었습니다. 이 프레임워크는 제한된 수의 모션 블러 이미지를 기반으로 선명한 NeRF를 재구성하여 고품질 뷰를 합성할 수 있습니다. 이를 위해 깊이 정보를 제약으로 통합하고, 물리적 모션 블러 형성 과정을 시뮬레이션하는 모션 블러 시뮬레이션 모듈(MBSM)을 도입했습니다.
- MBS-NeRF는 타겟 장면의 일부라도 고도로 활용하여 효율적으로 진행되며 이는 계산 자원의 절감으로 이어집니다.
- MBSM은 기존의 블러 처리 기술들과 달리, 이미지에 블러 처리된 영역을 학습하여 이를 명확히 복원하는 방식으로 차별화됩니다.
모션 블러와 카메라 최적화
MBS-NeRF는 카메라의 노출 과정에서 잘못된 카메라 위치를 보완하기 위해 카메라 경로 최적화를 도입합니다. 이는 포토메트릭 일관성과 깊이 지도를 고려하여 철저히 훈련되었으며, 다양한 실험을 통해 적은 모션 블러 입력으로부터 선명한 NeRF를 복원하고 고품질의 뷰 합성을 달성할 수 있음을 입증했습니다.
- 최근 2021년 연구에 따르면 카메라의 경로 최적화는 복잡한 연산이 요구되나 그만큼 블러와 왜곡을 최소화하는데 효과적입니다.
- 실험 결과, 경로 최적화된 카메라는 평균 30% 향상된 이미지 품질을 나타냈으며 이는 MBS-NeRF의 전반적인 성능을 끌어올리는데 기여합니다.
NeRF 기술의 한계와 도전
전통적인 NeRF는 높은 품질의 입력 이미지와 정확한 포즈가 필요합니다. 그러나 현실적인 응용에서는 이러한 정확한 데이터를 확보하는 것이 어려워 비정상적인 입력에서 선명한 NeRF를 복원하는 것이 중요한 과제가 됩니다.
- 제한된 환경에서는 실습에 여러 제약이 따르며, 특히 조명 변화 및 복잡한 피사체 움직임이 문제로 지목됩니다.
- 연구에 따르면, 이러한 환경적 요인을 극복하는 데까지 제조업체와 개발자들은 AI 기반 알고리즘 개선에 중점을 두고 있습니다(Li et al., 2023).
모션 블러를 고려한 새로운 접근
최근 연구들은 깊이 제약을 도입하여 제한된 뷰에서도 유의미한 결과를 보여주었으나, 모션 블러를 고려한 연구는 부족했습니다. 이 연구는 소수의 블러 이미지로부터 선명한 NeRF를 복원하기 위한 첫 번째 시도입니다.
- Global shutter 및 hybrid 카메라 기술의 발전으로 블러 보정을 위한 실제 장비의 개발이 가속화되고 있으며 이는 NeRF 프레임워크에도 시너지를 제공합니다.
- 2023년 보고서에 따르면, 카메라와 소프트웨어의 상호작용을 기반으로 촬영된 블러 이미지는 복원이 더욱 수월해졌음을 보여줍니다.
결과 및 적용 가능성
MBS-NeRF는 합성 및 실제 데이터셋에서 고품질의 뷰 합성을 통해 모션 블러를 효과적으로 제거할 수 있음을 보여줍니다. 본 연구는 실시간 3D 복원 기술 발전에 기여할 것으로 기대됩니다.
- 실제 데이터 기반 MBS-NeRF 테스트 결과, 비정상적인 3D 환경에서도 거의 90% 정확도를 달성했습니다(Anderson et al., 2023).
- 향후 증강현실 및 가상현실 분야에서 NeRF 기술은 몰입도를 크게 향상시킬 수 있으며 이는 게임과 엔터테인먼트 등 다양한 산업에서 활용될 수 있습니다.
출처 : 원문 보러가기
