• 목록

[일시] 2026.07.08.

[세미나 주제]
Concept Bottleneck Models with Open-Vocabulary Concepts


[발표자]
고예진

[요약]
본 발표에서는 기존 Concept Bottleneck Model(CBM)의 해석 가능성을 확장한 Concept Bottleneck Model with Open-Vocabulary Concepts(OpenCBM)와 이를 의료 영상 분류에 적용한 CBVLM: Training-free Explainable Concept-based Large Vision Language Models for Medical Image Classification 논문을 리뷰하였다. 기존 CBM은 사람이 미리 정의한 고정된 Concept만 사용할 수 있어 새로운 개념을 추가하거나 다른 데이터셋에 적용하기 위해서는 Concept를 다시 설계해야 하는 한계가 있었다. OpenCBM은 CLIP의 Vision-Language Feature Space를 활용하여 사용자가 원하는 자연어 Concept를 자유롭게 추가·삭제·교체할 수 있는 Open-Vocabulary Concept Bottleneck Model을 제안하였으며, CBVLM은 이를 확장하여 의료 영상에서 별도의 모델 재학습 없이 Concept 기반의 설명 가능한 진단을 수행하는 Training-free Framework를 제안하였다.

OpenCBM은 이러한 문제를 해결하기 위해 세 가지 기법을 제안하였다. 첫째, Prototype-based Feature Space Alignment를 통해 다운스트림 모델의 시각 특징을 CLIP Feature Space에 정렬하여 Open Vocabulary 특성을 유지하였다. 둘째, Classification Head Reconstruction을 이용하여 학습된 분류기를 여러 Text Concept Embedding의 선형 결합으로 재구성함으로써 새로운 Concept의 중요도를 재학습 없이 계산할 수 있도록 하였다. 셋째, Missing Concept Discovery를 통해 현재 Concept만으로 설명하지 못하는 정보를 Residual로 계산하고, 가장 관련성이 높은 새로운 Concept를 반복적으로 탐색하여 모델의 해석력을 향상시켰다. 실험 결과, 기존 CBM 대비 더 높은 분류 정확도를 달성하였으며, Concept의 추가,삭제,교체가 가능한 유연한 설명 방식을 제시하였다.

CBVLM은 OpenCBM의 아이디어를 의료 영상 분류에 적용하기 위해 세 단계의 Framework를 제안하였다. 첫째, Retrieval Module을 통해 입력 영상과 유사한 사례를 검색하여 Few-shot Example을 구성한다. 둘째, Concept Detection 단계에서는 LVLM에 Concept 중심의 Prompt를 입력하여 병변 Concept의 존재 여부를 예측하고, 이를 구조화된 Concept 정보로 변환한다. 셋째, Disease Diagnosis 단계에서는 검출된 Concept와 Few-shot Example을 함께 활용하여 최종 질환을 예측함으로써, 예측 결과와 그 근거를 동시에 제공한다. 이러한 접근법은 별도의 추가 학습 없이 다양한 LVLM에 적용 가능하며, 의료 분야에서 높은 설명 가능성과 우수한 분류 성능을 달성하여 Concept 기반 의료 AI의 활용 가능성을 제시하였다.


[관련 논문]
DINO: DETR with Improved DeNoising Anchor Boxes for End-to-End Object Detection
Grounding DINO: Marrying DINO with Grounded Pre-Training for Open-Set Object Detection

[녹화 영상]
https://us06web.zoom.us/rec/share/uZ7C-3Ox9HhpH0u2Yww24qEBt5U_Johm136LpdnIc3nAhsNah4bTemQayj96K-w.POn9fQOnL0N6vcIz