[20251001 통합세미나] Knowledge Distillation and Panoptic Segmentation
페이지 정보
본문
[일시]
2025.10.01.
[세미나 주제]
Knowledge Distillation and Panoptic Segmentation
[발표자]
김정년
[요약]
본 발표에서는 연속 학습(Continual Learning) 관점의 Panoptic/Semantic Segmentation과 Transformer 간 지식 증류(Knowledge Distillation)를 각각 다뤘다. 먼저 CoMFormer는 Segmentation을 마스크 분류로 정식화하고, softmax 기반 상호배타 마스크로 신·구 클래스 간 간섭을 줄인다. 여기에 Adaptive Distillation(AD)로 정보량이 큰 예측에 학습 비중을 두며, 과거 단계 모델의 출력을 활용한 마스크 기반 pseudo-labeling로 라벨 미기재 구간의 old 클래스 정보를 회수한다. 이 설계는 증분 단계가 진행되어도 구·신 클래스 모두에서 성능 저하를 완만하게 만들었고, ablation을 통해 AD와 pseudo-label 각각의 기여를 분리 확인했다. 추가로, 마스크 중심 설계가 경계 품질을 안정화해 클래스 전환 시 발생하는 혼동을 줄이는 점도 관찰되었다. TransKD는 Transformer-to-Transformer KD로, 단순 로짓/특징맵을 넘어 패치 임베딩(patch embedding) 자체를 주요 증류 대상으로 포함한다. Feature map 증류 + PEA(패치 임베딩 정렬)를 결합해 공간 표현과 순차·위치 문맥을 함께 이전하고, 필요 시 CSF/GL-Mixer/EA 모듈로 멀티스케일 및 전역-국소 정보를 보강해 학습 안정을 높인다. 그 결과 Cityscapes/ACDC/NYUv2/VOC2012에서 소형 학생 기준 연산량을 크게 줄이면서도 mIoU를 유지 또는 향상시키는 모습을 보였고, 데이터가 제한적인 환경에서도 일반화 성능이 비교적 안정적으로 유지됨을 확인했다. 특히 패치 임베딩 정렬을 포함한 증류가 경량 모델의 경계 및 저조도·기상 변동 장면에서의 강건성을 개선하는 데 유의미하게 기여했다.
[Q&A]
- Softmax 대신 Sigmoid를 쓰면 안 되나요? 두 함수가 정확히 어떻게 다른가?
: Softmax는 각 query의 class 확률을 상호배타적으로 정규화해서 “한 query가 한 class만 담당하도록” 경쟁 구조를 만듭니다. 반면 Sigmoid는 클래스별 예측이 독립적이라 여러 query가 같은 픽셀을 동시에 긍정할 수 있어 mask 중첩과 class 경계 불안정이 발생합니다. 즉, Softmax는 학습 과정에서부터 query 간 연속적인 경쟁(continuous competition)을 유도해 non-overlapping mask와 안정적인 continual 학습을 보장합니다.
- 실험을 보면 CSF, GL-Mixer, EA가 파라미터 수가 증가하는데, 왜 그런 것인가?
: TransKD의 세 모듈(CSF, GL-Mixer, EA)은 모두 **추가적인 학습 가능한 변환 계층(Conv, FC, Attention 등)**을 포함하기 때문에, 기존 SegFormer 구조보다 모델 파라미터 수가 증가합니다.
- 서로 다른 stage 개수의 model간에는 kd를 못하는 것인가?
: 서로 다른 stage 개수를 가진 teacher–student 간 KD는 이론적으로 가능하지만, 직접적 대응은 불가능합니다. TransKD는 동일한 4-stage 구조를 전제로 설계되었으며, stage 수나 해상도가 다를 경우 stage alignment (해상도 매칭, projection, interpolation 등) 과정을 거쳐야 합니다.
[관련 논문]
- CoMFormer: Continual Learning in Semantic and Panoptic Segmentation
- TransKD: Transformer Knowledge Distillation for Efficient Semantic Segmentation
[녹화 영상 링크]
https://us06web.zoom.us/rec/share/sZtAIISzil3vyaGhmncbEw2TWiIS70si0dt9DSz5uDZtoP87QOi9TAzFh4wtNPjU.Nfocta_3uQeKIxpk
2025.10.01.
[세미나 주제]
Knowledge Distillation and Panoptic Segmentation
[발표자]
김정년
[요약]
본 발표에서는 연속 학습(Continual Learning) 관점의 Panoptic/Semantic Segmentation과 Transformer 간 지식 증류(Knowledge Distillation)를 각각 다뤘다. 먼저 CoMFormer는 Segmentation을 마스크 분류로 정식화하고, softmax 기반 상호배타 마스크로 신·구 클래스 간 간섭을 줄인다. 여기에 Adaptive Distillation(AD)로 정보량이 큰 예측에 학습 비중을 두며, 과거 단계 모델의 출력을 활용한 마스크 기반 pseudo-labeling로 라벨 미기재 구간의 old 클래스 정보를 회수한다. 이 설계는 증분 단계가 진행되어도 구·신 클래스 모두에서 성능 저하를 완만하게 만들었고, ablation을 통해 AD와 pseudo-label 각각의 기여를 분리 확인했다. 추가로, 마스크 중심 설계가 경계 품질을 안정화해 클래스 전환 시 발생하는 혼동을 줄이는 점도 관찰되었다. TransKD는 Transformer-to-Transformer KD로, 단순 로짓/특징맵을 넘어 패치 임베딩(patch embedding) 자체를 주요 증류 대상으로 포함한다. Feature map 증류 + PEA(패치 임베딩 정렬)를 결합해 공간 표현과 순차·위치 문맥을 함께 이전하고, 필요 시 CSF/GL-Mixer/EA 모듈로 멀티스케일 및 전역-국소 정보를 보강해 학습 안정을 높인다. 그 결과 Cityscapes/ACDC/NYUv2/VOC2012에서 소형 학생 기준 연산량을 크게 줄이면서도 mIoU를 유지 또는 향상시키는 모습을 보였고, 데이터가 제한적인 환경에서도 일반화 성능이 비교적 안정적으로 유지됨을 확인했다. 특히 패치 임베딩 정렬을 포함한 증류가 경량 모델의 경계 및 저조도·기상 변동 장면에서의 강건성을 개선하는 데 유의미하게 기여했다.
[Q&A]
- Softmax 대신 Sigmoid를 쓰면 안 되나요? 두 함수가 정확히 어떻게 다른가?
: Softmax는 각 query의 class 확률을 상호배타적으로 정규화해서 “한 query가 한 class만 담당하도록” 경쟁 구조를 만듭니다. 반면 Sigmoid는 클래스별 예측이 독립적이라 여러 query가 같은 픽셀을 동시에 긍정할 수 있어 mask 중첩과 class 경계 불안정이 발생합니다. 즉, Softmax는 학습 과정에서부터 query 간 연속적인 경쟁(continuous competition)을 유도해 non-overlapping mask와 안정적인 continual 학습을 보장합니다.
- 실험을 보면 CSF, GL-Mixer, EA가 파라미터 수가 증가하는데, 왜 그런 것인가?
: TransKD의 세 모듈(CSF, GL-Mixer, EA)은 모두 **추가적인 학습 가능한 변환 계층(Conv, FC, Attention 등)**을 포함하기 때문에, 기존 SegFormer 구조보다 모델 파라미터 수가 증가합니다.
- 서로 다른 stage 개수의 model간에는 kd를 못하는 것인가?
: 서로 다른 stage 개수를 가진 teacher–student 간 KD는 이론적으로 가능하지만, 직접적 대응은 불가능합니다. TransKD는 동일한 4-stage 구조를 전제로 설계되었으며, stage 수나 해상도가 다를 경우 stage alignment (해상도 매칭, projection, interpolation 등) 과정을 거쳐야 합니다.
[관련 논문]
- CoMFormer: Continual Learning in Semantic and Panoptic Segmentation
- TransKD: Transformer Knowledge Distillation for Efficient Semantic Segmentation
[녹화 영상 링크]
https://us06web.zoom.us/rec/share/sZtAIISzil3vyaGhmncbEw2TWiIS70si0dt9DSz5uDZtoP87QOi9TAzFh4wtNPjU.Nfocta_3uQeKIxpk
첨부파일
-
251001_김정년_Knowledge_Distillation_and_Panoptic_segmentation.pdf (4.3M)
DATE : 2025-10-13 13:34:37
- 이전글[20251015 통합세미나]Automated Configuration Search for Semantic Segmentation 25.10.16
- 다음글[20250917 통합세미나] From Generative Vision Transformers to Visual Prompt Tuning 25.09.22
댓글목록
등록된 댓글이 없습니다.