• 목록

[일시] 2025.08.05

[리뷰 논문] SAM-Path : A Segment Anything Model for Semantic Segmentation in Digital Pathology

[요약]
기존 Segment Anything Model(SAM)은 자연 이미지에서의 instance segmentation에는 강력하지만, 병리학 이미지에서의 semantic segmentation에는 적합하지 않다는 한계가 있었다. SAM은 수작업 프롬프트에 의존하고 semantic label 구분 기능이 없으며 병리학 이미지와의 도메인 차이로 인해 성능이 저하되었다. 이러한 한계를 해결하기 위해 제안된 것이 SAM-Path로 이는 기존 SAM 구조를 병리학 도메인에 맞게 재설계한 프레임워크이다.
SAM-Path는 두 가지 핵심 개선을 도입한다. 첫째, 수작업 프롬프트 없이도 semantic segmentation을 가능하게 하는 학습 가능한 class prompt를 도입하여 자동화 성능을 높였다. 둘째, 병리학 이미지를 특화 정보를 반영하기 위해 사전학습된 pathology encoder(HIPT)를 병렬로 추가하였다. 이 두 encoder의 출력을 concat 하고 차원 축소 모듈을 거쳐 마스크를 예측하는 방식이다.
실험에서는 BCSS(다중 클래스)와 CRAG(이진 분류) 병리학 데이터셋을 활용하였고, SAM-Path는 Vanilla SAM 대비 Dice 및 IOU 점수가 큰 폭으로 향상되었다. 특히 class prompt만 도입해도 27% 이상의 성능 향상이 있었으며 pathology encoder 추가 시 추가적인 도메인 적응 효과가 있었다. 특히 병렬 추론을 통해 기존 SAM 대비 89% 빠른 추론 속도를 달성하였다.
결과적으로 SAM-Path는 병리학 데이터에 대한 semantic segmentation에 특화된 경량화된 fine-tuning 방식을 제안하며 SAM 기반 모델의 의료 영상 적용 가능성을 크게 확장한 연구라 할 수 있다.

[녹화 영상 링크]
https://us06web.zoom.us/rec/share/NlcyN3YS1d1jUoDe35-YpUSv4PECGTLy21ksHcEycTMvmMkMC29esgOg6KAtebmc.CJxqPUmjyf93t5jL

[Q&A]
Q : Trainable class prompt 라고 하셨는데, prompt 자체가 학습된다는 의미인가요? 그렇다면 이 prompt는 어떤 방식으로 학습되나요?
A : Trainable class prompt는 학습 가능한 토큰으로 이 클래스(종양, 괴사 등)을 분할하라는 명령을 전달하는 역할을 하는 벡터입니다.  각각의 semantic class에 대해 하나의 prompt 벡터가 존재하며 이는 모델이 segmentation할 때 해당 클래스에 해당하는 마스크를 생성하도록 유도하는 역할을 합니다.
이 prompt는 다른 네트워크 파라미터들과 함께 end-to-end 방식으로 학습되어 손실함수에 기반하여 backpropagation을 통해 업데이트되며 학습이 진행될 수록 각 클래스에 맞는 특성을 잘 반영하도록 조정됩니다.

Q : Dice와 IOU는 유사한 개념인데 두 손실함수를 모두 loss term으로 사용한 이유가 무엇인가요?
A : Dice Loss는 예측마스크와 정답 마스크의 중첩 비율을 강조하여 작은 객체나 경계에 민감한 학습에 효과적입니다. 반면 IOU Loss는 전체 영역을 기준으로 정확한 공간적 예측을 유도하기 때문에 전반적인 shape 복원에 도움을 줍니다. 세가지 손실 함수를 적절히 혼합하여 경계 학습, 클래스 불균현 보정, 전체 IOU 정합성 확보라는 측면에서 안정적인 segmentation 성능을 얻을 수 있도록 설계한 것입니다.