연구 내용의 뿌리를 찾아서

📌 1. 컴퓨터 그래픽스 (Computer Graphics)

🔽 3D 모델링 및 렌더링

• 1970~1980s: 레이 트레이싱 (Ray Tracing), 래스터라이제이션 (Rasterization) 등장
• 1990s: OpenGL, DirectX 같은 3D 그래픽스 API 등장 → 실시간 렌더링 기술 발전
• 2000s~2010s: Physically Based Rendering (PBR), NeRF (Neural Radiance Fields), 3D Gaussian Splatting (3DGS) 등의 신경망 기반 렌더링 기술 발전

🔽 멀티뷰 및 3D 재구성

• Stereo Vision (입체시): 두 개의 카메라를 이용해 깊이 정보 추출
• Structure from Motion (SfM): 다중 이미지에서 카메라 움직임과 3D 구조 추정
• SfM 기반 툴: COLMAP, VisualSFM 등의 등장
• Neural 3D Reconstruction: NeRF, Gaussian Splatting 등의 신경망 기반 3D 재구성 기술 발전

📌 2. 컴퓨터 비전 (Computer Vision)

🔽 멀티뷰 및 3D 영상 처리

• Epipolar Geometry (에피폴라 기하학): 카메라 간 기하학적 관계를 이용한 3D 복원
• Multi-view Stereo (MVS): 여러 개의 이미지에서 3D 구조 복원
• Visual SLAM (Simultaneous Localization and Mapping): AR/VR 및 로봇 비전에서 사용

🔽 6DoF 및 동적 객체 처리

• Optical Flow & Motion Estimation: 비디오 내 움직임 분석
• Deformable 3D Reconstruction: 변형 가능한 객체의 3D 모델링
• Dynamic Scene Reconstruction: 4D Gaussian Splatting 같은 기술 등장

📌 2.5 디지털 영상 처리 (Digital Image Processing)

🔽 영상 필터링 및 화질 개선

• Convolutional Filtering: Gaussian Blur, Edge Detection, Sharpening 등
• Super-resolution: 저해상도 영상을 고해상도로 변환하는 기법
• Noise Reduction: Median Filtering, Wavelet Denoising 등을 활용한 영상 품질 개선

🔽 특징점 검출 및 영상 이해

• Feature Detection: SIFT, ORB, Harris Corner Detector 등
• Optical Flow & Motion Analysis: 움직임 분석을 통해 동적 객체 탐지
• Deep Learning 기반 영상 처리: CNN, GAN 등을 활용한 이미지 개선 및 생성

디지털 영상 처리는 컴퓨터 비전과 영상 처리의 핵심적인 교차점으로, 영상 품질 향상뿐만 아니라 3D 재구성 및 볼류메트릭 비디오 처리에도 중요한 역할을 합니다.

📌 3. 영상 처리 및 비디오 코딩 (Image/Video Processing & Compression)

🔽 볼류메트릭 비디오 압축 및 스트리밍

• MPEG-V, MPEG-I 표준: 볼류메트릭 비디오의 저장 및 전송을 위한 표준 개발
• Point Cloud Compression (PCC): 점군 데이터 압축 기술 발전
• MIV (MPEG Immersive Video): 멀티뷰와 심도 정보를 활용한 6DoF 영상 압축

🔽 고속 실시간 3D 렌더링

• Immersive Video Processing: 6DoF 비디오 스트리밍을 위한 연구
• Cloud-based 3D Rendering: 볼류메트릭 비디오 스트리밍 최적화 기술 연구

📌 4. 확장 현실 (XR, Extended Reality)

🔽 VR/AR을 위한 6DoF 기술

• Head-tracked Rendering: 사용자의 시점 변화에 맞춘 실시간 영상 렌더링
• Volumetric Capture Studios: Microsoft Mixed Reality Capture, 8i 등 볼류메트릭 캡처 기술 발전
• Free-viewpoint Video (FVV): 사용자가 자유롭게 시점을 변경할 수 있는 기술 등장
• Eye Tracking & Free Focusing(Adaptive Refocusing): 사용자의 시선과 초점 이동을 감지하여 실시간으로 시각적 경험 최적화 (예: 시선 기반 렌더링, 동적 심도 조절)

🎯 연구 분야의 계보 정리

1. 컴퓨터 그래픽스 → 3D 렌더링, 멀티뷰 영상 생성
2. 컴퓨터 비전 → 멀티뷰 3D 재구성, SLAM, Dynamic Scene Reconstruction
3. 영상 처리 → 비디오 코딩, MPEG 표준, 볼류메트릭 비디오 압축 및 스트리밍
4. XR → VR/AR 및 자유 시점 6DoF 경험을 위한 최적화 기술 연구

이렇게 보면 6DoF, 멀티뷰, 볼류메트릭 비디오 연구는 컴퓨터 비전, 그래픽스, 영상 처리, XR의 교차점에서 발전한 첨단 기술입니다. 최근 등장한 3D Gaussian Splatting, NeRF, IVDE, TMIV, Point Cloud Compression 같은 최신 기술과도 깊이 연관이 있습니다.

🔍 연구를 더 발전시키기 위한 방향

1. MPEG-I 및 최신 볼류메트릭 비디오 표준 분석
2. 멀티뷰 및 6DoF 데이터셋 활용
3. 3DGS, NeRF 등의 신경망 기반 기술 적용
4. 실시간 볼류메트릭 스트리밍 및 코딩 기술 연구

더 나아가… 1) 시선 추적을 통한 시각적 주의 분석: 아이 트래킹 기술을 활용하여 사용자의 시각적 주의 패턴을 분석하고, 이를 기반으로 영상 처리 알고리즘의 성능을 향상시키는 연구가 있다. 예를 들어, 시선 추적을 통해 사용자가 주목하는 영역을 파악하여 영상의 중요 부분을 우선적으로 처리하거나 압축하는 방법 등이 연구되고 있다. 2) 자유 초점 렌더링: 사용자의 시선 정보를 활용하여 시각적 피로를 줄이고 몰입감을 높이기 위한 자유 초점 렌더링 기술이 개발되고 있다. 이러한 기술은 사용자의 시선 방향과 초점 거리에 따라 영상의 초점 심도를 동적으로 조절하여 보다 현실감 있는 시각 경험을 제공한다. 3) 시선 기반 인터렉션: 아이 트래킹을 활용한 사용자 인터페이스 설계에 대한 연구도 활발히진행되고 있다. 시선 정보를 이용하여 메뉴 선택, 객체 조작 등 다양한 인터랙션을 가능하게 함으로써 사용자 경험을 향상시키는 방법이 제안되고 있다.