• 목록

[일시] 2026.06.09

[세미나 주제] Sparse and Diverse Attention in Multiple Instance Learning

[발표자] 오수진

[요약]
이번 발표에서는 병리 이미지 분석에서 WSI를 여러 patch로 나누고, 이를 하나의 bag과 여러 instance로 보는 Multiple Instance Learning(MIL) 문제를 다룬다. 특히 pixel-level이나 patch-level label을 얻기 어려운 의료 영상 환경에서, slide-level label만으로 중요한 patch를 찾아내는 attention 기반 MIL의 필요성을 설명한다. 먼저 ABMIL은 attention pooling과 gated attention을 통해 각 instance의 중요도를 학습하고, 이를 가중합하여 slide-level prediction을 수행한다. 이 과정에서 attention heatmap을 통해 모델이 어떤 영역을 중요하게 봤는지 확인할 수 있어 해석 가능성을 제공한다. 그러나 ABMIL과 같은 기존 attention 기반 MIL은 attention이 소수의 discriminative patch에 과도하게 집중되어, 다양한 병리 패턴을 충분히 학습하지 못하고 overfitting이 발생할 수 있다. 이를 보완하기 위해 ACMIL은 Multiple Branch Attention(MBA)과 Stochastic Top-K Instance Masking(STKIM)을 제안한다. MBA는 여러 attention branch가 서로 다른 discriminative pattern을 학습하도록 하고, STKIM은 학습 중 Top-K attention patch 일부를 masking하여 모델이 덜 obvious하지만 중요한 patch에도 주목하게 만든다. 실험적으로 ACMIL은 CAMELYON16, BRACS, LBC 데이터셋에서 attention concentration을 줄이고 더 넓은 tumor region을 활성화하며 성능과 heatmap 해석성을 개선했다. 마지막으로 Sparsemax는 softmax처럼 모든 항목에 확률을 부여하지 않고, 중요하지 않은 항목에는 정확히 0을 부여하여 더 sparse하고 해석 가능한 attention distribution을 만든다. 결론적으로 이 발표는 MIL 기반 병리 이미지 분석에서 attention이 단순한 중요도 학습을 넘어, 해석성, 다양성, 희소성을 강화하는 방향으로 발전하고 있음을 보여준다.


[관련논문]
- Attention-based Deep Multiple Instance Learning
- Attention-Challenging Multiple Instance Learning for Whole Slide Image Classification
- From Softmax to Sparsemax: A Sparse Model of Attention and Multi-Label Classification