[20261001 통합세미나]
페이지 정보
본문
[일시] 2026.10.01.
[세미나 주제]
Training-free Open-Vocabulary Semantic Segmentation: Injecting Vision Foundation Model Knowledge into CLIP
[발표자]
고예진
[요약]
본 발표에서는 Training-free Open-Vocabulary Semantic Segmentation(OVSS)에서 CLIP의 부족한 공간적 표현 능력을 개선하는 방법을 다루고, Vision Foundation Model(VFM)의 지식을 추가 학습 없이 CLIP에 전달하는 ProxyCLIP과 CASS를 소개하였다.
CLIP은 이미지와 텍스트 간의 의미적 정렬 능력이 뛰어나지만, 이미지 단위의 contrastive learning으로 학습되어 patch-level localization과 공간적 일관성이 부족하다. 반면 DINO와 같은 VFM은 patch 간의 관계와 객체 구조를 효과적으로 포착하지만, 텍스트와 직접 정렬되어 있지 않다. 두 논문은 이러한 상호 보완적인 특성을 활용하여 CLIP의 open-vocabulary 인식 능력을 유지하면서 segmentation 품질을 개선한다.
ProxyCLIP은 VFM의 patch feature similarity를 CLIP의 attention으로 활용하는 방법이다. VFM에서 추출한 feature를 정규화하여 patch 간 유사도를 계산하고, 이를 proxy attention으로 사용해 CLIP의 value embedding을 집계한다. 이 과정에서 adaptive normalization과 masking을 적용하여 서로 다른 VFM의 유사도 분포를 보정하고, 의미적으로 관련성이 높은 patch에 집중하도록 한다. 또한 VFM의 높은 spatial resolution을 활용해 객체 경계를 보다 정밀하게 예측한다. 이를 통해 별도의 학습 없이 CLIP의 semantic knowledge와 VFM의 spatial consistency를 결합한다.
CASS는 단순한 patch 간 유사도만으로는 하나의 객체를 구성하는 서로 다른 부분을 일관되게 분할하기 어렵다는 문제에서 출발한다. 이를 해결하기 위해 VFM의 attention을 graph로 해석하고, spectral decomposition을 통해 object-level context를 추출한다. 이후 CLIP과 VFM의 attention head를 spectral graph matching으로 연결하고, low-rank approximation과 dynamic eigenscaling을 적용하여 객체 구조 정보를 CLIP attention에 전달한다. 추가로 CLIP의 CLS embedding에서 얻은 object presence prior를 활용하여 text embedding과 patch-text similarity를 보정함으로써 유사한 클래스 간의 혼동을 줄인다.
Q. CASS에서는 왜 CLIP과 VFM의 attention head를 매칭할 때 서로 유사한 head가 아니라 반대되는 구조를 가진 head를 매칭하나요?
A. 서로 유사한 head를 매칭하면 이미 CLIP이 가지고 있는 정보가 중복될 수 있기 때문입니다. CASS는 CLIP과 VFM의 attention graph에서 eigenvalue distribution의 차이가 큰 head를 매칭하여 서로 보완적인 구조 정보를 결합합니다. 예를 들어 CLIP이 객체의 일부에 집중한다면, VFM이 다른 부분에 집중하는 head를 연결하여 CLIP이 놓친 영역까지 포함하도록 합니다. 이를 통해 하나의 객체를 구성하는 서로 다른 부분을 일관되게 분할할 수 있습니다.
[관련 논문]
- ProxyCLIP: Proxy Attention Improves CLIP for Open-Vocabulary Segmentation
- Distilling Spectral Graph for Object-Context Aware Open-Vocabulary Semantic Segmentation
[녹화 영상]
https://us06web.zoom.us/j/87204134879?pwd=LYZf7Yi0OeMEdnCLQ1Gmh2XB7kb3Z5.1
[세미나 주제]
Training-free Open-Vocabulary Semantic Segmentation: Injecting Vision Foundation Model Knowledge into CLIP
[발표자]
고예진
[요약]
본 발표에서는 Training-free Open-Vocabulary Semantic Segmentation(OVSS)에서 CLIP의 부족한 공간적 표현 능력을 개선하는 방법을 다루고, Vision Foundation Model(VFM)의 지식을 추가 학습 없이 CLIP에 전달하는 ProxyCLIP과 CASS를 소개하였다.
CLIP은 이미지와 텍스트 간의 의미적 정렬 능력이 뛰어나지만, 이미지 단위의 contrastive learning으로 학습되어 patch-level localization과 공간적 일관성이 부족하다. 반면 DINO와 같은 VFM은 patch 간의 관계와 객체 구조를 효과적으로 포착하지만, 텍스트와 직접 정렬되어 있지 않다. 두 논문은 이러한 상호 보완적인 특성을 활용하여 CLIP의 open-vocabulary 인식 능력을 유지하면서 segmentation 품질을 개선한다.
ProxyCLIP은 VFM의 patch feature similarity를 CLIP의 attention으로 활용하는 방법이다. VFM에서 추출한 feature를 정규화하여 patch 간 유사도를 계산하고, 이를 proxy attention으로 사용해 CLIP의 value embedding을 집계한다. 이 과정에서 adaptive normalization과 masking을 적용하여 서로 다른 VFM의 유사도 분포를 보정하고, 의미적으로 관련성이 높은 patch에 집중하도록 한다. 또한 VFM의 높은 spatial resolution을 활용해 객체 경계를 보다 정밀하게 예측한다. 이를 통해 별도의 학습 없이 CLIP의 semantic knowledge와 VFM의 spatial consistency를 결합한다.
CASS는 단순한 patch 간 유사도만으로는 하나의 객체를 구성하는 서로 다른 부분을 일관되게 분할하기 어렵다는 문제에서 출발한다. 이를 해결하기 위해 VFM의 attention을 graph로 해석하고, spectral decomposition을 통해 object-level context를 추출한다. 이후 CLIP과 VFM의 attention head를 spectral graph matching으로 연결하고, low-rank approximation과 dynamic eigenscaling을 적용하여 객체 구조 정보를 CLIP attention에 전달한다. 추가로 CLIP의 CLS embedding에서 얻은 object presence prior를 활용하여 text embedding과 patch-text similarity를 보정함으로써 유사한 클래스 간의 혼동을 줄인다.
Q. CASS에서는 왜 CLIP과 VFM의 attention head를 매칭할 때 서로 유사한 head가 아니라 반대되는 구조를 가진 head를 매칭하나요?
A. 서로 유사한 head를 매칭하면 이미 CLIP이 가지고 있는 정보가 중복될 수 있기 때문입니다. CASS는 CLIP과 VFM의 attention graph에서 eigenvalue distribution의 차이가 큰 head를 매칭하여 서로 보완적인 구조 정보를 결합합니다. 예를 들어 CLIP이 객체의 일부에 집중한다면, VFM이 다른 부분에 집중하는 head를 연결하여 CLIP이 놓친 영역까지 포함하도록 합니다. 이를 통해 하나의 객체를 구성하는 서로 다른 부분을 일관되게 분할할 수 있습니다.
[관련 논문]
- ProxyCLIP: Proxy Attention Improves CLIP for Open-Vocabulary Segmentation
- Distilling Spectral Graph for Object-Context Aware Open-Vocabulary Semantic Segmentation
[녹화 영상]
https://us06web.zoom.us/j/87204134879?pwd=LYZf7Yi0OeMEdnCLQ1Gmh2XB7kb3Z5.1
첨부파일
-
OVSS_고예진_261001.pdf (3.7M)
DATE : 2026-10-18 19:23:19
- 다음글[20260917 통합세미나] LLM Serving and Optimization 26.09.22
댓글목록
등록된 댓글이 없습니다.