본 논문은 저조도 이미지 향상을 위한 새로운 무참조 프레임워크를 제안한다. 핵심 아이디어는 조명 변화에 불변하는 물리적 사중 프라이어를 개발하고, 이를 정상광 이미지와 저조도 이미지 사이의 중간 매개체로 활용하는 것이다.
먼저, 쿠벨카-문크 이론에 기반하여 물리적 사중 프라이어를 설계한다. 이 프라이어는 색상, 채도, 공간 미분, 채널 순서 등 4가지 특징을 포함한다. 이를 통해 조명 변화에 불변하는 특징을 추출할 수 있다.
다음으로, 사전 학습된 대규모 생성 모델인 Stable Diffusion을 활용하여 프라이어를 정상광 이미지로 매핑하는 프레임워크를 구축한다. 이 과정에서 디테일 손실 문제를 해결하기 위해 우회 디코더를 도입한다.
마지막으로, 실용성을 위해 CNN-Transformer 혼합 모델을 활용하여 경량화 버전을 제안한다. 이 모델은 복잡한 다단계 최적화를 단일 순전파로 수행하여 빠른 추론 속도와 효율적인 계산을 달성한다.
실험 결과, 제안 모델은 다양한 저조도 시나리오에서 우수한 성능을 보이며, 해석 가능성, 강건성, 효율성 면에서도 장점을 가진다.
Til et andet sprog
fra kildeindhold
arxiv.org
Vigtigste indsigter udtrukket fra
by Wenjing Wang... kl. arxiv.org 03-20-2024
https://arxiv.org/pdf/2403.12933.pdfDybere Forespørgsler