박사를 내다본다면 3DGS 필수 20241010

Performance Comparison and Research Trends on 4D Gaussian Splatting Techniques for Dynamic Image Synthesis https://www.kibme.org/resources/journal/20250131133111680.pdf

요약

Novel View Synthesis 분야에서 동적 장면을 표현하고 렌더링 하는 것은 중요하면서도 도전적인 연구 분야로 자리 잡고 있다. 최근 등장한 Gaussian Splatting 기술은 정적 장면에서 뛰어난 표현 성능과 실시간 렌더링을 보여주었다. 그러나 이 기술을 동적 장면에 적용하기 위해 독립적인 프레임에 대해 3D Gaussian을 학습함으로써 합성 품질이 저하되고 많은 저장 공간을 필요로 하는 등의 비효율성이 발생한다. 이러한 한계를 극복하기 위해 최근 4D Gaussian Splatting 알고리즘들이 활발히 연구되어 동적 장면으로의 확장을 가능하게 하고 있다. 본 논문에서는 Deformable 3D Gaussian, 4D-GS, SC-GS, 그리고 Spacetime Gaussian, 총 네 개의 4D Gaussian Splatting을 살펴보고 성능 비교 및 장단점을 분석하였다.

1. 초기 3D Gaussian 생성
   • 입력 데이터: COLMAP 같은 Structure-from-Motion(SfM) 기법을 사용해서 초기 3D 포인트 클라우드를 생성
   • 생성된 3D 포인트 클라우드의 좌표를 기반으로 3D Gaussian을 초기화하고, 위치/크기/회전/색상/불투명도 정보를 포함한다. (Position, Scale, Rotaion, Color, Opacity)
2. 카메라 포즈 기반 2D 투영 (Projection)
   • Gaussian들은 3D 공간에서 존재하지만, 실제 이미지를 생성하려면 이를 2D 이미지 평면으로 투영해야 함
   • 카메라 포즈 (Camera Pose)를 이용해서 각 Gaussian을 렌더링할 이미지의 2D 좌표로 변환하는 과정이 포함됨
   • 3D Gaussian을 카메라 위치 기준으로 2D 이미지 평면에 투영
3. Rasterization (이미지화 과정)
   • 투영된 2D Gaussian들은 이미지에서 적절한 위치에 배치되고, 화면을 여러 개의 타일 (Tile)로 나눠서 빠르게 처리
   • 가장 중요한 점은 깊이(depth) 기반 정렬
     • 이미지 평면에서 더 가까운 Gaussian이 먼저 그려지고, 뒤쪽 Gaussian은 그 위에 겹쳐지도록 정렬됨
     • 이때, Alpha Blending 기법을 사용해서 부드럽게 투명도를 조절하면서 Gaussian을 섞어줌
   • 가까운 Gaussian부터 순서대로 배치해서 부드러운 blending으로 이미지를 만들기
4. 학습 과정 (Backpropagation)
   • 이렇게 생성된 2D 이미지와 Ground Truth 이미지를 비교해 손실 (Loss)을 계산하고, Backpropagation (역전파)을 수행해서 Gaussian들의 위치, 크기, 색상 등을 최적화해
   • 이때, 적응적 밀도 조절 (Adaptive Density Control) 기법을 사용해서 Gaussian을 추가하거나 제거함
     • Gaussian이 부족한 영역에는 Gaussian을 복제 (duplicate)해서 추가
     • Gaussian이 과하게 겹친 영역에서는 Gaussian을 삭제 (Pruning) 해서 최적화
   • Ground Truth와 비교해서 Gaussian을 최적화하는 과정

핵심 요약

1. COLMAP을 이용해 초기 3D Gaussian을 생성!
2. 카메라 포즈를 활용해 3D Gaussian을 2D 평면에 투영!
3. Rasterization을 통해 깊이 정렬 후 blending!
4. Ground Truth와 비교하며 Gaussian을 학습하고 최적화!