3DGS 왕초보, *교수님 말씀을 (잘) 듣자*

사용 서버 David– Linux Ubuntu Server x64 | david에 /data3/sbjo/gaussian-splatting_sbjo 폴더

감사하게도 연구실 서버에 3DGS 환경이 이미 구축되어있어서 이것을 이용하는 것 먼저 해봐야겠다. 미리 구축해준 선배동생 thx

https://github.com/graphdeco-inria/gaussian-splattin : readme 보면서 실행해보기

멀티뷰 카메라 데이터를 변환하기 (Camera parameter files, Raw RGB files, Color-corrected MP4 files, Color-corrected YUV files)

우선 cam_param 폴더의 SKKU_VRroom1D.json 파일 이름 cameras.json(카메라 매개변수를 저장한 .json 파일을 scene 폴더 안에 넣기) 으로 변경했다.

그리고, 데이터셋 안의 poses_bounds.npy 파일도 scene 폴더 안으로 이동시켰다. (.npy 파일 형식: )

MNC1p01.xlsx 데이터 1️⃣ 카메라는 움직이지 않지만, 미세한 움직임까지 기록했을 가능성 있음. 이유: 실제로 촬영할 때 삼각대나 마운트에 고정해도 아주 미세한 진동(예: 바람, 기기 진동, 센서 오차) 때문에 카메라 위치가 아주 조금씩 변할 수 있음. 이런 미세한 변화까지 포함해 더 정밀한 렌더링을 수행하려고 데이터셋에 넣어둔 것일 가능성이 높다. 특히 NeRF나 3DGS 같은 모델들은 카메라 포즈의 작은 변화에도 영향을 받기 때문에, 정교한 재구성을 위해 작은 변화까지 반영하는 경우가 많다. 2️⃣ 데이터셋 안의 사람이 움직인다는 점과 연관이 있을까? 가능성이 있다. 특정한 움직임(예: 사람이 특정 방향으로 이동하거나 자세를 바꿀 때)과 카메라의 미세한 위치 변화가 동기화될 수도 있다. 예를 들면: 카메라는 고정되었지만, 움직이는 사람을 더 자연스럽게 포착하려면 프레임별로 미세한 카메라 움직임을 기록하여 보정할 수도 있다. 특히 멀티 뷰 시스템에서 여러 대의 카메라를 동기화해서 촬영할 경우, 조금씩 다른 각도에서의 변화를 정밀하게 잡아야 더 좋은 3DGS 결과를 얻을 수 있다.

📌 결론: mnc1p01.xlsx를 꼭 반영해야 할까?

✅ 카메라 움직임이 미세한 수준이라면, cameras.json만으로도 렌더링이 가능할 확률이 높음!
✅ 다만, 더 정밀한 3D 재구성(예: 작은 흔들림까지 반영된 데이터)이 필요하면 mnc1p01.xlsx까지 고려해보는 것이 좋음.
✅ 데이터셋 안의 사람이 움직인다면, 카메라 움직임 데이터가 그에 맞춰 정밀한 3D 재구성을 돕는 역할을 할 수도 있음.

👉 일단 cameras.json만으로 렌더링을 돌려보고, 결과가 충분히 좋다면 mnc1p01.xlsx는 굳이 반영하지 않아도 됨.
👉 만약 사람이 움직이는 장면에서 깊이 추정이 흔들리거나 부자연스러우면 mnc1p01.xlsx까지 반영해서 더 정밀하게 조정하면 돼! 🚀🔥

ing

250307 불금 날 교수님께서 연구실 홈페이지의 VRroom1D 데이터셋(http://mcsl.skku.edu/skku_vrroom-datasets/) 으로 3DGS 돌리기를 꼭 해보라고 알려주셨다. 3DGS 돌리기, 작년 11월 리서치 리뷰 행사 때 시도하고 멈추었던 작업이다. 이것저것 시작하는 것은 참 좋아하는데 뭔가 자신 없거나, 처음 시도하는 것은 꼭 미루게 된다. 매우 개선해야할 부분이다. 이번에는 꼭 해서 교수님께 결과물을 전달드려야 한다.