[20260519 통합세미나] Efficient Diffusion for Image Restoration via Reflect…
페이지 정보
본문
[일시] 2026.05.19.
[세미나 주제]
Efficient Diffusion for Image Restoration via Reflectance-Aware Trajectory and Residual Noise
[발표자]
김희지
[요약]
본 발표에서는 image restoration task에서 diffusion model이 가지는 높은 계산 비용과 긴 sampling 시간의 한계를 정리하고, 이를 해결하기 위한 ReDDiT과 Resfusion을 발표하였다. 기존 diffusion 기반 이미지 복원 모델은 저조도, 비, 그림자 등으로 degraded된 image를 고품질로 복원할 수 있지만, 반복적인 reverse sampling 과정으로 인해 추론 속도가 느리다는 문제가 있다.
ReDDiT은 low-light image enhancement을 위한 효율적인 diffusion distillation 모델이다. 기존 diffusion 기반 저조도 복원은 많은 sampling step이 필요하지만, ReDDiT은 teacher-student 구조를 통해 multi-step teacher의 복원 trajectory를 student가 2-step, 4-step, 8-step과 같은 적은 step으로 따라가도록 학습한다. 특히 핵심 모듈인 Reflectance-Aware Trajectory Refinement(RATR) 모듈은 Retinex 이론을 기반으로 저조도 이미지에서 illumination map과 noise map을 추정하고, 이를 통해 reflectance prior를 생성한다. 이후 이 prior를 teacher trajectory 보정에 사용함으로써, student가 더 적은 step으로도 저조도 복원에 적합한 경로를 학습할 수 있도록 한다.
Resfusion은 기존 diffusion restoration이 Gaussian noise에서 reverse process를 시작한다는 비효율성을 해결하고자 제안되었다. 이미지 복원에서는 degraded image가 이미 장면 구조와 low-frequency 정보를 포함하고 있기 때문에, 완전한 noise에서 시작하는 것은 비효율적이다. Resfusion은 degraded image와 clean image의 차이를 residual로 정의하고, 이를 diffusion forward process에 포함한다. 또한 noise와 residual을 결합한 resnoise를 예측하도록 모델을 학습하여, reverse process에서 detail reconstruction과 residual correction을 동시에 수행하도록 한다.
결과적으로 ReDDiT은 teacher trajectory를 reflectance prior로 보정한 뒤 student에게 distillation하는 방법이고, Resfusion은 복원해야 할 residual 자체를 diffusion target에 포함하는 방법이다. ReDDiT은 저조도 복원에서 few-step diffusion의 성능 저하를 줄였고, Resfusion은 resnoise를 통해 다양한 이미지 복원 task에서 효율적인 reverse process를 제안하였다. 두 연구는 모두 diffusion 기반 image restoration의 sampling 비용 문제를 해결하며, 향후 weather-degraded image restoration으로 확장할 수 있는 가능성을 보여준다.
Q. ReDDiT에서 inference 단계의 student model은 RATR 모듈을 거친 이미지를 입력으로 받아 복원하는 구조인가요? 아니면 RATR은 학습 단계에서만 teacher trajectory를 보정하는 데 사용되는 건가요?
A. 아니요. Inference 단계에서 student model이 RATR 모듈을 통과한 이미지를 입력받아 복원하는 구조는 아닙니다. ReDDiT에서 RATR은 주로 student 학습 단계에서 teacher trajectory를 보정하기 위한 모듈입니다. 먼저 teacher diffusion model은 저조도 이미지 y를 condition으로 사용하는 일반적인 conditional diffusion model로 학습되고, 이후 student를 학습할 때 teacher가 생성한 trajectory를 RATR이 reflectance prior를 이용해 보정합니다. Student는 이 보정된 teacher trajectory를 target으로 삼아 학습됩니다.
[관련 논문]
- Efficient Diffusion as Low Light Enhance (ReDDiT)
- Resfusion: Denoising Diffusion Probabilistic Modelsfor Image Restoration Based on Prior Residual Noise
[녹화 영상]
https://us06web.zoom.us/rec/share/MnO_TdG5WHaWBfMd90agRUGiQfM2cR5hyXEymXpXSHEzBTgAJyR2vbUjExywLjcX.6JXF0jl3pu5nfhn6
[세미나 주제]
Efficient Diffusion for Image Restoration via Reflectance-Aware Trajectory and Residual Noise
[발표자]
김희지
[요약]
본 발표에서는 image restoration task에서 diffusion model이 가지는 높은 계산 비용과 긴 sampling 시간의 한계를 정리하고, 이를 해결하기 위한 ReDDiT과 Resfusion을 발표하였다. 기존 diffusion 기반 이미지 복원 모델은 저조도, 비, 그림자 등으로 degraded된 image를 고품질로 복원할 수 있지만, 반복적인 reverse sampling 과정으로 인해 추론 속도가 느리다는 문제가 있다.
ReDDiT은 low-light image enhancement을 위한 효율적인 diffusion distillation 모델이다. 기존 diffusion 기반 저조도 복원은 많은 sampling step이 필요하지만, ReDDiT은 teacher-student 구조를 통해 multi-step teacher의 복원 trajectory를 student가 2-step, 4-step, 8-step과 같은 적은 step으로 따라가도록 학습한다. 특히 핵심 모듈인 Reflectance-Aware Trajectory Refinement(RATR) 모듈은 Retinex 이론을 기반으로 저조도 이미지에서 illumination map과 noise map을 추정하고, 이를 통해 reflectance prior를 생성한다. 이후 이 prior를 teacher trajectory 보정에 사용함으로써, student가 더 적은 step으로도 저조도 복원에 적합한 경로를 학습할 수 있도록 한다.
Resfusion은 기존 diffusion restoration이 Gaussian noise에서 reverse process를 시작한다는 비효율성을 해결하고자 제안되었다. 이미지 복원에서는 degraded image가 이미 장면 구조와 low-frequency 정보를 포함하고 있기 때문에, 완전한 noise에서 시작하는 것은 비효율적이다. Resfusion은 degraded image와 clean image의 차이를 residual로 정의하고, 이를 diffusion forward process에 포함한다. 또한 noise와 residual을 결합한 resnoise를 예측하도록 모델을 학습하여, reverse process에서 detail reconstruction과 residual correction을 동시에 수행하도록 한다.
결과적으로 ReDDiT은 teacher trajectory를 reflectance prior로 보정한 뒤 student에게 distillation하는 방법이고, Resfusion은 복원해야 할 residual 자체를 diffusion target에 포함하는 방법이다. ReDDiT은 저조도 복원에서 few-step diffusion의 성능 저하를 줄였고, Resfusion은 resnoise를 통해 다양한 이미지 복원 task에서 효율적인 reverse process를 제안하였다. 두 연구는 모두 diffusion 기반 image restoration의 sampling 비용 문제를 해결하며, 향후 weather-degraded image restoration으로 확장할 수 있는 가능성을 보여준다.
Q. ReDDiT에서 inference 단계의 student model은 RATR 모듈을 거친 이미지를 입력으로 받아 복원하는 구조인가요? 아니면 RATR은 학습 단계에서만 teacher trajectory를 보정하는 데 사용되는 건가요?
A. 아니요. Inference 단계에서 student model이 RATR 모듈을 통과한 이미지를 입력받아 복원하는 구조는 아닙니다. ReDDiT에서 RATR은 주로 student 학습 단계에서 teacher trajectory를 보정하기 위한 모듈입니다. 먼저 teacher diffusion model은 저조도 이미지 y를 condition으로 사용하는 일반적인 conditional diffusion model로 학습되고, 이후 student를 학습할 때 teacher가 생성한 trajectory를 RATR이 reflectance prior를 이용해 보정합니다. Student는 이 보정된 teacher trajectory를 target으로 삼아 학습됩니다.
[관련 논문]
- Efficient Diffusion as Low Light Enhance (ReDDiT)
- Resfusion: Denoising Diffusion Probabilistic Modelsfor Image Restoration Based on Prior Residual Noise
[녹화 영상]
https://us06web.zoom.us/rec/share/MnO_TdG5WHaWBfMd90agRUGiQfM2cR5hyXEymXpXSHEzBTgAJyR2vbUjExywLjcX.6JXF0jl3pu5nfhn6
첨부파일
댓글목록
등록된 댓글이 없습니다.