• 목록

[20250423 통합세미나]

[일시]
2025.04.23

[세미나 주제]
Probabilistic Demand Forecasting

[발표자]
백승준

본 세미나에서는 TalkingHead Generation 분야에서 SyncNet을 기반으로 립싱크의 정확성을 개선하기 위한 기법들을 소개한다.
먼저 SyncNet은 음성과 입술의 움직임이 얼마나 잘 동기화되었는지를 정량적으로 평가할 수 있는 방법을 제안한다. two-stream ConvNet을 기반으로 입 이미지와 음성의 feature를 추출하고 Contrastive Loss를 활용하여 같은 공간에 embedding될 수 있도록 하여 입과 오디오의 정합성을 학습한다. 이후 소개되는 StyleSync는 StyleGAN2 기반의 고화질 생성 능력과 SyncNet 기반의 Lip-Sync Loss를 결합하여 고품질의 말하는 영상을 생성하였으며 StyleGAN2의 W space를 W+ space로 확장함으로써 개인화된 말하는 영상을 생성하였다. 마지막으로 소개된 LatentSync는 Latent Diffusion Model을 사용하여 고품질의 프레임을 생성하면서도 시간에 따라 자연스럽게 말하는 영상을 생성하기 위해 제안된 논문으로, SyncNet에서 추출한 립싱크 정보를 Lip-Sync Loss로 활용하고 이미지 시퀀스와 시간적 표현을 정렬하도록 하는 TREPA Loss를 사용하여 시간에 따라 자연스럽게 말하는 영상을 생성한다.

[요약]
본 발표는 물류 수요 예측을 위한 확률적 수요 예측 방법론을 소개한다.
물류 풀필먼트에서 안정적 물류 수요 예측은 창고 임대료, 냉장·냉동 비용, 재고 관리를 위한 인건비 등 다양한 보관 비용을 최적화 하는데 도움을 준다. 물류 수요 데이터는 Smooth, Lumpy, Erraric 그리고 Intermittent 등 다양한 패턴을 지니고, 분포적 특성 또한 다양하다. 또한 물류 수요 품목의 종류는 굉장히 많고, 각각 물류 수요의 규모 또한 매우 다양하다. 이러한 특성을 지니는 물류 수요을 한번에 효과적으로 예측 하기 위해 본 발표는 미래의 불확실성을 반영하여 단일 예측값 대신 가능한 결과들의 분포를 예측하는 2가지 확률론적 방법론을 소개한다. 우선 DeepAR은 과거 수요 패턴과 다양한 외부 요인을 이용해, 미래 수요를 하나의 수치가 아니라 확률적 분포 형태로 예측하여 물류 운영의 불확실성을 관리할 수 있게 해주는 딥러닝 기반 예측 모델이다. DeepAR의 학습 과정은 (1)과거 수요량(시계열)과 Covariates가 입력으로 들어오면 (2) 입력 데이터를 기반으로 RNN이 Hidden state를 업데이트하며 수요 패턴을 학습한다. (3) 학습한 Hidden State를 통해 평균, 분산과 같은 분포 파라미터를 계산한다. (4) 실제 관측된 수요와 예측 분포를 비교하여 log-likelihood를 계산하고, 이를 최대화하는 방향으로 모델 전체 파라미터를 Backpropagation로 업데이트한다. 예측시 모델이 생성한 분포로부터 수요량을 샘플링하며 다음 시점을 예측한다. 이 때 예측값은 단일 숫자가 아니라, 미래 수요에 대한 확률 분포로 표현된다. 이를 여러 번 반복하면, 수요의 평균, 분위수 신뢰 구간 등을 계산 가능하다. 다음으로 TimeGrad는 과거 물류 수요 데이터를 기반으로, 미래 수요량의 Diffusion Model 방식으로 예측하는 모델이다.기존 수요 예측 모델들이 정규분포나 포아송분포 등 고정된 분포 형태를 가정하는 것과 달리, TimeGrad는 사전 분포 가정 없이 데이터로부터 복잡한 수요 분포를 직접 학습한다. 모델 학습 시 (1) 과거 수요 데이터에 점진적으로 노이즈를 추가하여, 백색 잡음에 가까운 데이터를 생성한다. (2)노이즈가 섞인 데이터를 입력으로 하여, 원래 수요 데이터를 복원하는 노이즈 제거 경로(denoising trajectory)를 학습한다. 즉 수요량의 분포를 직접 복원하는 방향으로 신경망을 최적화한다. 예측시에는 예측할 미래 시점에 대해, 백색 잡음으로부터 시작한다. 학습된 모델을 통해 단계별로 노이즈를 제거하며, 최종적으로 미래 수요량의 샘플을 생성한다. 해당 샘플링을 여러 번 반복하여, 수요량의 분포 및 신뢰구간을 추정 가능하다.

[Q&A]
Q) TimeGrad는 어떻게 분포적 가정을 하지 않고, 다양한 분포를 추정할 수 있는가
A)  분포의 모양을 가정하지 않고, 원래 데이터 분포로 가는 "복원 경로(reconstruction trajectory)" 자체를 학습합니다. Forward process 시 실제 수요 데이터에 점진적으로 가우시안 노이즈를 추가합니다. Reverse process시에는 노이즈를 어떻게 제거하면 원래 데이터로 복원할 수 있는가"**를 학습합니다. 즉 분포가 아닌 복원 경로를 학습했기 때문에, 어떤 복잡한 분포 형태라도 자연스럽게 복원 가능가능합니다.

[관련 논문]
- DeepAR: Probabilistic Forecasting with Autoregressive Recurrent Networks
- Autoregressive Denoising Diffusion Models for Multivariate Probabilistic Time
Series Forecasting

[녹화 영상 링크]
https://us06web.zoom.us/rec/share/5VSEl-PvtO4OEkdVLZv0aCmeaCvUHI0K6ysYQkxSkn2OQ_Ky8xgUrqTgonHRz-8n.55M9xfUJAe-qBWYu