• 목록

[일시] 2026.01.28

[세미나 주제]
Concept Bottleneck Models

[발표자]
장도영

[요약]
본 발표에서는 기존 딥러닝 모델(End-to-End)의 한계점인 블랙박스 특성을 극복하고자 입력과 출력 사이에 사람이 이해할 수 있는 Concept을 예측하는 단계를 추가하여 x → c → y 구조의 CBM 모델을 소개하였다. CBM은 이러한 구조를 바탕으로 모델의 예측 이유를 설명할 수 있을 뿐만 아니라, 사용자가 잘못된 개념을 Intervention하여 최종 결과를 교정할 수 있게 한다. CBM을 두가지 데이터셋에 대해 실험한 결과와 네가지 주요 실험 결과를 소개하였다. CBM은 기존 블랙박스 모델과 비교했을 때, 약간 낮거나 동등한 성능을 가지는 결과를 보여주어 해석 가능성과 성능손실간의 Trade off가 항상 존재하지만은 않는다는 것을 보여주었다. 테스트 단계에서 모델이 잘못 예측한 개념을 Intervention하여 최종 예측 정확도가 오르는 개입 효과를 보여주었다. Concept 정보가 모델 학습에 Inductive bias로 작용하여 데이터셋에 따라 표준 모델보다 적은 데이터로 비슷한 성능을 낼 수 있다는점도 보였다. 마지막으로 배경 변경과 같은 데이터 분포 변화나 가짜 상관관게에 대해 표준 모델보다 더 강건함을 보였다. 한계점으로 Concept 라벨링의 추가적인 비용과 정의한 Concept이 모델 예측에 충분한 정보를 담지 못하는 경우 성능이 떨어진다는 한계점이 있었다.
 
[Q&A]
Q : Contept GT는 모델 학습에 사용되지 않은 것인가요?
A : 아닙니다. ConceptGT는 모델 학습 과정이서 사용됩니다. 다만, CBM의 세가지 학습 전략에 따라 각기 사용되는 방식이 다릅니다.
Independent Bottleneck에선 Concept 예측 모델(g)은 입력(x)에서 ConceptGT(y)를 예측하도록 학습되고, Target 예측 모델(f)은 손실함수를 계산하는데 사용됩니다.
Sequential Bottleneck에선 g를 ConceptGT(c)를 이용해 학습하고 f를 학습할 때에는 g가 예측한 개념값을 사용하지만, g자체 학습에는 GT가 사용되었습니다.
Joint Bottleneck에는 전체 손실 함수에 Concept Loss가 포함되어 있습니다. 이 오차는 모델이 예측한 Concept와 ConceptGT간의 차이를 계산하므로 학습 과정에서 GT가 사용됩니다.

Q : 그래프 상에서 joint, from sigmoid와 joint의 차이가 무엇인가요?
A : 두 모델의 차이는 concept 예측 모델(g)에서 Target 예측 모델(f)로 전달되는 값의 형태에 있습니다.
Joint는 g의 출력인 로짓값이 활성화 함수(sigmoid)를 거치지 않고 바로 f의 입력으로 들어간 것이고, Joint, from sigmoid는 시그모이드를 적용하여 확률값으로 변환한 뒤 f의 입력으로 사용합니다.

Q : Feature Extractor Model의 아키텍처는 어떤기준으로 선정되었나요?
A : 해당 데이터셋을 다룬 이전 연구의 고성능 연구에서 사용된 모델을 기준으로 선정되었습니다. 독자적 기준이 아닌 각 도메인에서 이미 성증이 검증된 표준 아키텍처를 차용하여 Bottleneck 구조의 효과를 공정하게 비교하고자 했습니다.

Q : CUB 데이터셋의 Concept은 이진값인데 0, 1 이외의 값이 나타난 이유가 무엇인가요?
A : 실제 ConceptGT가 아닌 모델이 예측한 확률값이기 때문입니다. CUB 데이터셋의 실제 GT값은 0, 1로 이루어져 있지만, CBM 모델이 동작할 때, g는 입력 이미지를 보고 해당 concept이 있을 확률을 실수 형태로 출력합니다. Intervention 과정에서는 이 예측값을 사용자가 확신하는 정답인 0, 1로 바꾸어 입력해줍니다.

Q : Intervention이 학습 단계에선 사용되지 않는건가요?
A :네 맞습니다. Invervention은 오직 테스트 단계에서만 수행됩니다. 학습단계에서는 모델이 스스로x와 c, y 사이의 관계를 학습하고 Intervention은 학습이 완료된 모델이 실제 현장에 배포되었을 때, 사용자가 모델의 중간 예측 결과를 확인하고 오류를 수정하여 최종 결과를 개선하기 위한 메커니즘입니다.

[관련 논문]
- Concept Bottleneck models

[녹화 영상]
https://us06web.zoom.us/rec/share/WzFMsFdX2n5YpU9c8jF2ga4v4x1OUKKULidDp0ZeLojeKhcLErB7SlCTRKpsYrEf.ro6m1CXhYl_pqQxc