지도 교수님께서 자주 말씀하시는 권인소 교수님

권인소 교수님은 KAIST 전기 및 전자공학부에서 컴퓨터 비전, 로봇 비전, 영상 처리, 패턴 인식 분야를 연구하고 계신다. 특히, 실내외 환경에서의 조명 변화에 강인한 비전 시스템 개발과 관련된 연구를 다수 진행하셨다. 이러한 연구는 조명 조건의 변화에도 안정적인 성능을 유지하는 비전 알고리즘 개발에 중점을 두고 있다.

https://www.donga.com/news/Opinion/article/all/20241027/130304105/2

조명 조건의 변화에도 안정적인 성능을 유지하는 비전 알고리즘 개발은 멀티뷰 볼류메트릭 캡처링 시스템의 품질과 정확성 향상에 매우 중요하다. 이러한 목표를 달성하기 위해 다음과 같은 연구 분야와 기법을 고려해 볼 수 있다.

1. 조명 불변 특징 추출: 이미지나 영상에서 조명 변화에 영향을 받지 않는 특징을 추출하는 방법이다. 이러한 특징은 조명 조건이 달라져도 일관성을 유지하므로, 안정적인 비전 알고리즘 개발에 유용하다. (뷰 간 일관성 유지)
2. 조명 정규화 기법: 이미지의 조명 조건을 표준화하여 조명 변화의 영향을 줄이는 방법이다. 이를 통해 다양한 조명 환경에서도 일관된 성능을 유지할 수 있다. (”)
3. 딥러닝 기반 조명 보정: 딥러닝을 활용하여 조명 변화를 보정하거나 예측하는 모델을 개발하는 방법이다. 이러한 모델은 복잡한 조명 조건에서도 안정적인 성능을 보일 수 있다. (실시간 보정으로 시스템 실용성 높임)
4. 다중 노출 이미지 융합: 다양한 노출 조건에서 촬영된 이미지를 융합하여 조명 변화에 강인한 이미지를 생성하는 방법이다. 이를 통해 조명 변화에 따른 영향을 최소화 할 수 있다.

The Relightables:

Volumetric Performance Capture of Humans with Realistic Relighting

https://augmentedperception.github.io/therelightables/

Google AI 팀이 개발한 가상 환경에 맞춰 조명을 조절할 수 있는 Volumetric Video 촬영이 가능한 시스템이다. 기존에는 3D 촬영물을 가상 환경에 적용할 때 촬영 시 적용한 조명을 변경할 수 없어 사실감을 부여하는 데 어려움이 있었으나, 가상 광원 Virtual Light Source 을 활용해 3D 모델에 아주 사실적인 조명을 비추는 것이 가능해졌다. 본 기술은 돔 형태의 구조에 330개의 프로그래밍 가능한 LED와 100대의 카메라를 설치했으며, 카메라를 심도 센서처럼 운영해 피사체를 12.4 MP depth map으로 캡처할 수 있다. 또한, Google AI 팀은 캡처한 데이터로부터 영상을 합성하기 위해 기하학적 머신러닝재구성 파이프라인 (ageometric and machine learning reconstruction pipeline) 을 개발했다. 시스템은 depth map과 시간 동기화한 Reflectance Maps 을 캡처해 촬영 시 적용한 조명을 유지하여 AR/VR 장면에서 피사체의 조명 조절이 가능하도록 지원한다.

더 살펴보자…