[20251222 통합세미나] Supervised Contrastive Learning for Imbalanced Data …
페이지 정보
본문
[일시] 2025.12.22
[세미나 주제]
Supervised Contrastive Learning for Imbalanced Data Learning
[발표자]
백승준
[요약]
본 발표에서는 long-tailed 데이터 분포에서 Supervised Contrastive Learning(SCL) 이 갖는 구조적 한계를 정리하고, 이를 해결하기 위한 세 가지 대표적 접근법인 KCL, BCL, ProCo를 단계적으로 다루었다. 기존 SCL은 positive pair 수와 gradient 기여도가 클래스 빈도에 비례하기 때문에 head class가 표현 공간을 지배하고 tail class의 표현이 압축되는 문제가 발생한다. KCL은 positive pair 구성 시 클래스마다 동일한 개수의 샘플을 사용하도록 제한함으로써 feature space의 불균형을 완화하는 re-balanced sampling 기반 방법으로, ImageNet-LT와 iNaturalist에서 전반적인 정확도와 feature balancedness를 개선하였다. 그러나 batch 내부 샘플에 의존한다는 한계는 여전히 존재한다. BCL은 이러한 문제를 기하학적 관점에서 해석하여, 이상적인 표현 구조를 regular simplex로 정의하고 class-averaging과 class-complement 기법을 통해 클래스 간 거리를 균등하게 유지하도록 설계된 re-weighting 기반 방법이다. 이를 통해 many-shot과 few-shot 성능을 동시에 향상시키며 기존 contrastive learning 기반 방법들을 일관되게 상회하는 성능을 보였다. 마지막으로 ProCo는 batch 내 샘플 탐색 자체를 제거하고, feature space 상의 데이터 분포를 von Mises–Fisher 혼합분포로 모델링하여 기대 contrastive loss를 직접 최적화하는 pair reconstruction 접근법이다. 이 방식은 batch size 의존성을 근본적으로 해소하고 이론적으로 클래스 간 균형을 보장하며, 극심한 불균형 환경에서도 tail class 성능을 크게 개선하였다. 세 방법은 각각 sampling, weighting, distribution modeling이라는 서로 다른 관점에서 SCL의 불균형 문제를 해결하며, 표현 공간 자체를 바로잡는 것이 long-tailed 학습의 핵심임을 공통적으로 보여준다.
Q. BCL의 핵심 아이디어에서 minor class 샘플이 batch 내에 적은 것이 문제가 아니라, 불균형이 극단적으로 심한 경우에도 class averaging과 class complement만으로 충분한 도움이 될까요?
A. 불균형이 극단적으로 심한 경우, 이 두 기법만으로 모든 문제가 해결된다고 보기는 어렵습니다. BCL은 클래스 간 기하학적 균형을 보장하는 데 강점이 있지만, prototype 자체는 결국 제한된 minor class 샘플로부터 추정되므로 표현의 통계적 안정성까지 완전히 보장하지는 않습니다. 이 때문에 논문에서도 BCL은 logit-adjusted classification loss와 결합되어 사용되며, 충분한 학습 반복과 전체 데이터 분포를 통해 prototype이 점진적으로 업데이트를 수행합니다. BCL의 averaging과 complement는 batch-level 불균형으로 인한 구조적 왜곡을 효과적으로 완화하지만, 데이터 자체의 극단적 희소성을 근본적으로 해결하지는 않습니다.
[관련 논문]
- A survey on long-tailed visual recognition
- Exploring Balanced Feature Spaces for Representation Learning
- Balanced contrastive learning for long-tailed visual recognition
- Probabilistic contrastive learning for long-tailed visual recognition
[녹화 영상]
https://us06web.zoom.us/rec/share/EDq_QfCjPnvPLrYxRn4JFaUziH44ql3EJtWRNgqauAiLq5wSQyVzCOgib0dMcxt9.w55fMLQrl2M6bsRU
[세미나 주제]
Supervised Contrastive Learning for Imbalanced Data Learning
[발표자]
백승준
[요약]
본 발표에서는 long-tailed 데이터 분포에서 Supervised Contrastive Learning(SCL) 이 갖는 구조적 한계를 정리하고, 이를 해결하기 위한 세 가지 대표적 접근법인 KCL, BCL, ProCo를 단계적으로 다루었다. 기존 SCL은 positive pair 수와 gradient 기여도가 클래스 빈도에 비례하기 때문에 head class가 표현 공간을 지배하고 tail class의 표현이 압축되는 문제가 발생한다. KCL은 positive pair 구성 시 클래스마다 동일한 개수의 샘플을 사용하도록 제한함으로써 feature space의 불균형을 완화하는 re-balanced sampling 기반 방법으로, ImageNet-LT와 iNaturalist에서 전반적인 정확도와 feature balancedness를 개선하였다. 그러나 batch 내부 샘플에 의존한다는 한계는 여전히 존재한다. BCL은 이러한 문제를 기하학적 관점에서 해석하여, 이상적인 표현 구조를 regular simplex로 정의하고 class-averaging과 class-complement 기법을 통해 클래스 간 거리를 균등하게 유지하도록 설계된 re-weighting 기반 방법이다. 이를 통해 many-shot과 few-shot 성능을 동시에 향상시키며 기존 contrastive learning 기반 방법들을 일관되게 상회하는 성능을 보였다. 마지막으로 ProCo는 batch 내 샘플 탐색 자체를 제거하고, feature space 상의 데이터 분포를 von Mises–Fisher 혼합분포로 모델링하여 기대 contrastive loss를 직접 최적화하는 pair reconstruction 접근법이다. 이 방식은 batch size 의존성을 근본적으로 해소하고 이론적으로 클래스 간 균형을 보장하며, 극심한 불균형 환경에서도 tail class 성능을 크게 개선하였다. 세 방법은 각각 sampling, weighting, distribution modeling이라는 서로 다른 관점에서 SCL의 불균형 문제를 해결하며, 표현 공간 자체를 바로잡는 것이 long-tailed 학습의 핵심임을 공통적으로 보여준다.
Q. BCL의 핵심 아이디어에서 minor class 샘플이 batch 내에 적은 것이 문제가 아니라, 불균형이 극단적으로 심한 경우에도 class averaging과 class complement만으로 충분한 도움이 될까요?
A. 불균형이 극단적으로 심한 경우, 이 두 기법만으로 모든 문제가 해결된다고 보기는 어렵습니다. BCL은 클래스 간 기하학적 균형을 보장하는 데 강점이 있지만, prototype 자체는 결국 제한된 minor class 샘플로부터 추정되므로 표현의 통계적 안정성까지 완전히 보장하지는 않습니다. 이 때문에 논문에서도 BCL은 logit-adjusted classification loss와 결합되어 사용되며, 충분한 학습 반복과 전체 데이터 분포를 통해 prototype이 점진적으로 업데이트를 수행합니다. BCL의 averaging과 complement는 batch-level 불균형으로 인한 구조적 왜곡을 효과적으로 완화하지만, 데이터 자체의 극단적 희소성을 근본적으로 해결하지는 않습니다.
[관련 논문]
- A survey on long-tailed visual recognition
- Exploring Balanced Feature Spaces for Representation Learning
- Balanced contrastive learning for long-tailed visual recognition
- Probabilistic contrastive learning for long-tailed visual recognition
[녹화 영상]
https://us06web.zoom.us/rec/share/EDq_QfCjPnvPLrYxRn4JFaUziH44ql3EJtWRNgqauAiLq5wSQyVzCOgib0dMcxt9.w55fMLQrl2M6bsRU
첨부파일
-
Supervised Contrastive Learning for Imbalanced Data Learning_백승준.pdf (3.1M)
DATE : 2026-01-19 16:27:32
댓글목록
등록된 댓글이 없습니다.