기존 필터 방식의 한계가 있으니 AI 기반 방식을 찾아야 함. 인내하며 자료 읽기~🌟

GPT tip: Retinex 이론은 조명과 반사율을 분리하여 영상의 색을 일정하게 유지하는 이론. 조명 보정이 필요한 다양한 영상 처리 분야(저조도 보정, 의료 영상, 위성 영상 등)에서 활용됨. 최근에는 딥러닝과 결합한 Retinex 알고리즘이 개발되고 있음. 딥러닝+Retinex 조합이 트렌드이며, CNN/GAN/Transformer 기반의 Retinex 개선 방법을 검토하기 바람

불규칙한 실내외 조명 조건 및 저조도 환경은 고화질 영상 획득에 어려움을 준다. 이를 해결하기 위해 컴퓨터 비전 분야에서는 렌즈나 하드웨어 구성에 대한 개선이 아닌 소프트웨어적 해법에 대해 연구해오고 있다. 영상 화질 개선 방법은 다양한 최적화 기법을 이용한 조명 성분 예측 방법(영상 내 조명 성분을 최적화 기법을 통해 추정, 감마 보정 등을 통해 간단히 개선, 반사 성분을 이용하여 화질 개선 영상을 복원)과 심층학습을 이용한 화질 개선 영향 생성 방법으로 크게 나눌 수 있다. 영상 내 픽셀 값은 조명(Illumination) 성분과 반사 (Reflectance) 성분의 곱(Multiplication)으로 표현 가능하다는 Retinex 이론을 기반으로 조명 성분을 추정하고자 노력하였다. 그러나 한장의 영상만을 이용하여 조명과 반사 성분을 완벽하게 분리하기 매우 어려우며, 화질 개선 과정에서 색상 변형(Color Distortion) 및 예기치 못한 잡음이 발생되기도 한다. 한편, 영상 인식 분야에서 뛰어난 성과를 보여준 심층신경망(Deep Neural Network)을 영상 화질 개선에 적용하고자 하는 연구가 몇몇 연구자들에 의해 시작되고 있다. 이 방법의 경우 주어진 장면 구조와 조명 간 복잡한 관계를 직접 추정하기보다는 신경망 학습을 통해 개선된 화질의 영상을 생성하고자 한다. _인공지능 기반 영상 화질 개선 최신 기술 동향_김원준 교수님_건국대_2020 (https://www.kibme.org/resources/journal/20200206100603671.pdf?utm_source=chatgpt.com)

화질 개선 성능 평가를 위해 널리 사용되는 데이터셋으로

MIT Adobe 5K (https://data.csail.mit.edu/graphics/fivek/), NASA, HDR이 있다. (https://people.csail.mit.edu/vladb/photoadjust/db_imageadjust.pdf)

데이터셋을 기고하면 멋지겠다. https://seungjunnah.github.io/Datasets/gopro

심층 신경망을 이용한 저조도 영상에서 Retinex 기반 반사 영상 생성논문을 보면 히스토그램 평활화(histogram equalization), 감마보정 (gamma corection) 기능은 익히 활용되어왔다.

---

Performance metric https://xoft.tistory.com/3

Peak Signal-to-Noise Ratio, 피크 신호 대 잡음비 PSNR [in dB]: 원본 이미지에 노이즈가 얼마나 영향을 미쳤는지를 정량적으로 측정하는 지표다. 인간이 이미지를 인식하는 방식과도 어느 정도 유사한 특성을 가짐, 압축 과정에서 발생하는 노이즈와 PSNR 값이 직접적인 관계가 있음이 연구에서 입증됨 (Santoso et al., 2011). PSNR 값이 높을수록 원본과의 차이가 적고, 더 깨끗한(denoised) 이미지라는 것을 의미함. 특히, 같은 압축 방식의 경우, PSNR이 높을수록 더 나은 품질을 보장한다.

Structural Similarity Index Measure SSIM [0,1]: 전체적인 관점에서 영상 안에서의 구조적 정보인 휘도(luminance), 명암비(contrast), 구조(structure) 들을 추출하여 구조적 유사도를 구한 다음 영상의 품질을 측정할 때 사용된다. 1에 가까울수록 유사도가 높아 좋으며, 반대로 0에 가까울수록 유사도가 낮아 품질이 안좋다.

LPIPS

어렵다…