• 목록

[일시] 2026.07.29.

[세미나 주제]
Vision-Language Alignment for Weakly Supervised Video Anomaly Detection

[발표자]
조연경

[요약]
본 발표에서는 CLIP의 시각·언어 정렬 정보를 약한 지도학습 기반 비디오 이상 탐지에 활용하는 VadCLIP과 TPWNG를 소개하였다. VadCLIP은 프레임 간 시간 관계를 학습하는 LGT-Adapter와 정상·이상을 판별하는 C-Branch, 프레임 특징과 이상 클래스 텍스트를 정렬하는 A-Branch를 결합하였다. 또한 Learnable Prompt와 Anomaly-Focus Visual Prompt, MIL-Align을 통해 영상 단위 라벨만으로 coarse-grained 및 fine-grained 이상 탐지를 수행하였으며, UCF-Crime에서 88.02% AUC, XD-Violence에서 84.51% AP를 기록하였다.

TPWNG는 CLIP의 text-frame alignment를 이용하여 프레임 수준 pseudo-label을 생성하고, 이를 기반으로 이상 탐지 분류기를 self-training하였다. Learnable Text Prompt와 Normality Visual Prompt를 통해 정상 정보를 정렬 과정에 반영하고, Normality Guidance로 이상 영상에 포함된 정상 프레임의 영향을 줄였다. 또한 TCSAL은 입력 특징에 따라 attention의 시간적 범위를 조절하여 지속 시간이 다양한 이상 사건을 모델링하였으며, UCF-Crime에서 87.79% AUC, XD-Violence에서 83.68% AP를 기록하였다.

두 연구를 통해 CLIP의 언어 지식과 시각·언어 정렬 정보가 영상 단위 라벨만 제공되는 환경에서도 프레임 수준 이상 탐지에 효과적임을 확인하였다. VadCLIP은 alignment를 최종 예측에 직접 활용하는 one-stage 방식이고, TPWNG는 alignment로 pseudo-label을 생성한 뒤 분류기를 학습하는 two-stage 방식이라는 차이가 있다.

[관련 논문]
VadCLIP: Adapting Vision-Language Models for Weakly Supervised Video Anomaly Detection
Text Prompt with Normality Guidance for Weakly Supervised Video Anomaly Detection

[Q&A]
Q: TCSAL 모듈은 어떤 과정으로 동작하나요?
A: TCSAL은 이상 사건마다 지속 시간이 다르다는 점을 고려하여 attention 범위를 입력별로 조절하는 모듈입니다. 각 Transformer layer의 self-attention head는 입력 프레임 특징을 바탕으로 attention span을 산출합니다. 이후 현재 프레임과 과거 프레임 사이의 시간적 거리를 이용해, 가까운 프레임에는 높은 가중치를 부여하고 일정 범위 이후에는 값이 점진적으로 감소하는 Soft Mask를 생성합니다. 이 Soft Mask를 Query와 Key의 내적으로 계산된 attention weight에 반영하여 멀리 떨어진 프레임의 영향을 줄입니다. 따라서 사건의 특성에 따라 짧은 시간 문맥이나 넓은 시간 문맥을 유연하게 학습할 수 있습니다. 최종적으로 TCSAL에서 얻은 특징을 Layer Normalization, Linear Layer, Sigmoid로 구성된 Classifier에 입력하여 프레임별 anomaly score를 출력합니다.

[녹화영상]
https://us06web.zoom.us/rec/share/__b2x3jcgcmgwj_MJmAM7pVRvfN3PyoB0j2BA7KH8ZG4Q8Sq55cm_X8M9-gHCf_n.JhdNaXcZNy99MFAy?startTime=1785301024000