“영상 취득 관련 논문 꾸준히 보세요”

“We finally have the chance to have true 3D that’s photo-real”

“It’s the JPEG moment for spatial computing”

영상 취득과 관련된 주목할 만한 기술로 ‘3D Gaussian Splatting’이 있다. 2023년 여름, 유럽의 과학자들이 이 기술을 소개하는 논문을 발표하였는데, 이는 전통적인 폴리곤 기반 메쉬 (정점 Vertex와 면 Face로 구성)를 대체하여 수백만 개의 반투명한 블롭(gaussian)을 사용하여 더 정밀하고 현실감 있는 3D 객체를 실시간으로 렌더링하는 방법이다. 이 기술은 Niantic, Google, Meta와 같은 주요 기술 기업들에 의해 빠르게 채택되었으며, 특히 Niantic은 Scaniverse 앱 (https://scaniverse.com/) 에 이 기술을 통합하여 사용자가 개인적인 기념품이나 공공 장소의 3D 스캔을 보다 쉽게 수행할 수 있도록 지원하고 있다.

Scaniverse 4는 Niantic에서 제공하는 무료 3D 스캐닝 앱으로, Gaussian Splatting 기술을 통해 조명, 반사, 투명도 등 세부 요소까지 사실적으로 표현한다. 스마트폰을 사용하여 대상 주위를 천천히이동하면서 스캔하면, 기기가 자동으로 데이터를 처리하여 단 1~2분 만에 3D 모델을 생성한다.

모든 데이터 처리는 기기 내에서 이루어지므로, 인터넷 연결 없이도 스캔과 처리가 가능하다. 사용자의 데이터는 공유를 선택하기 전까지 기기 내에 안전하게 보관된다. 생성된 3D 모델은 전 세계 지도에 업로드해 다른 사용자들과 공유하거나, 시네마틱 비디오로 변환해 소셜 미디어에 게시할 수 있다. 개인 링크를 통해 특정인과 직접 공유할 수도 있다.

커뮤니티에서 다른 사용자들이 업로드한 다양한 장소와 사물의 3D 스캔을 탐색하며, 새로운 장소를 발견할 수 있다. 생성된 3D 모델은 OBJ, FBX, USDZ 등 다양한 파일 형식으로 내보내어 다른 3D 편집 소프트웨어에서 활용이 가능하다.

https://www.theverge.com/2025/1/19/24345491/gaussian-splats-3d-scanning-scaniverse-niantic

전통적인 Gaussian 분포는 확률 밀도 함수 (Probability Density Function, PDF)로 사용되며, 주로 신호 처리, 영상 처리, 기계 학습 등에서 데이터의 흐름을 부드럽게 하거나 이상치를 필터링하는 데 활용되었다. 기존 Gaussian 필터는 부드러운 흐름을 만들지만 세부적인 텍스처나 반사를 직접적으로 표현할 수 없음, 3D 모델링에서 메쉬(mesh) 기반의 렌더링을 사용할 때, Gaussian 분포 자체가 빛과 재질(Material)의 효과를 계산하는 데 직접 적용되지는 않음

각 가우시안 블롭(blobs)은 색상(color, RGB 색상), 위치(x,y,z), 크기(scale), 회전(rotation) 및 투명도(opacity, 알파 채널 Alpha) 수준에 대한 정확한 정보를 포함하여 캡처되며, 수백만 개가 결합되면 이러한 추가 데이터를 활용해 어떤 각도에서든 더욱 정교한 3D 객체를 표현할 수 있다. 머신러닝을 활용하면 더 사실적으로 객체를 캡처할 수 있을 뿐만 아니라, 고가의 그래픽 렌더링 장비 없이도 실시간으로 렌더링 할 수 있다.

기존의 NeRF(Neural Radiance Fields)처럼 훈련을 통해 환경광 (Ambient light), 반사(Specular reflection), 투명도(Opacity)를 포함한 재질 표현이 가능. 즉, 각 Gaussian이 실제 세계에서 조명과 상호작용하는 방식에 따라 색이 결정됨

결국 가우시안을 개별적인 3D 입자로 사용하고, 가우시안 블롭 마다 색과 불투명도 정보를 포함하고, 렌더링 과정에서 다중 투영 가능하고, 전통적인 메쉬 대비 실시간 처리 가능한 3DGS는 조명, 반사, 투명도 표현이 가능해진다.

초등학생들과 해보면 좋을 것 같은 것! Niantic Studio 발견! https://www.nianticspatial.com/augment/studio