[20250804 특별 세미나] Mamba-based deformable medical image registration wi…
페이지 정보

본문
[일시]
2025.08.04.
[세미나 주제]
Mamba-based deformable medical image registration with an annotated brain MR-CT dataset
[발표자]
김정년
[요약]
MambaMorph는 기존 Deformable Image Registration(DIR)의 한계를 극복하기 위해 제안된 새로운 registration 프레임워크이다. 기존 CNN 기반 방법은 지역적인 정보만을 처리하는 구조로, 장거리 의존성(long-range dependency)을 반영하는 데 한계가 있었다. 이를 보완하기 위해, MambaMorph는 local feature 학습을 담당하는 고해상도 branch와 global context를 반영하는 Mamba 기반 U-shape branch로 구성된 dual-branch registration 모듈을 설계하였다. 핵심 구성 요소인 Mamba block은 Selective State Space Model(SSM)을 이용하여 긴 시퀀스의 정보를 효율적으로 처리하며, 기존 self-attention보다 연산량은 적고 장거리 정보를 효과적으로 반영할 수 있다. 입력 3D volume은 patch 단위로 분할된 뒤 position embedding과 patch merging을 통해 시퀀스로 변환되어 Mamba block으로 전달된다. 이후 두 branch의 출력을 통합하여 변형 필드(ϕ)를 예측하고, STN(Spatial Transformer Network)을 통해 moving image에 정합을 수행한다.
Loss 함수는 정합된 영상과 고정 영상 간 segmentation label의 Dice Loss와, 변형장의 부드러움을 유지하기 위한 Smoothness Loss로 구성된다. 특히 Dice Loss는 semi-supervised 방식으로, registration 성능을 정량화하면서도 라벨 의존도를 줄인다. 실험은 저자들이 새롭게 구축한 SR-Reg dataset에서 수행되었으며, 해당 데이터는 MR-CT 영상 쌍 180개와 정밀한 skull-stripping, intensity 정규화 및 16개 해부학적 label을 포함한다. MambaMorph는 다양한 baseline보다 높은 Dice Score와 낮은 경계 오차를 기록하며 정합 정확도와 해부학적 일관성에서 우수한 성능을 보였다.
[Q&A]
Q1. Dice Loss(segmentation)만을 사용한 이유가 따로 있는가? (일반적인 mse나 이런 loss를 사용하지 않은 이유)
A1. MambaMorph는 multi-modal 정합 문제에 적합하고, 해부학적 구조 보존에 민감한 Dice Loss를 사용하여 segmentation 기반의 정합 정확도를 직접 향상시키는 것을 목표로 합니다. 반면 MSE나 L1은 modality 차이(CT vs MR)를 반영하지 못하고, 오히려 왜곡된 학습을 유도할 수 있어 사용하지 않았다.
Q2. SR-Reg 데이터를 만드는 자세한 과정 설명
A2.
CT 전처리 과정 요약
1. 두개골 제거 (Skull Stripping)
- SynthStrip 도구를 사용하여 CT 볼륨에서 두개골 제거
- 뇌 조직 마스크 생성
2. 마스크 보정 및 통일
- CT 마스크는 MR과의 공통 영역으로 통일
- 두 modality에서 공통되는 뇌 조직만 보존
3. 정렬 (Registration)
- MR과 함께 템플릿 공간에 affine 정합 수행
- 정합된 상태에서 고정 해상도로 크롭: [176, 208, 192], 1mm³
4. 강도 보정 (Intensity Clipping)
- CT의 뇌 이외 영역 제거를 위해 intensity 범위를 **[-100, 200]**으로 클리핑
MR 전처리 과정 요약
1. 두개골 제거 (Skull Stripping)
- CT와 동일하게 SynthStrip으로 skull 제거
- 뇌 마스크 생성
2. 마스크 검토 및 통합
- CT와의 공통 마스크 영역만 유지
3. 해부학적 라벨 생성
- SynthSeg 모델로 뇌 해부학 영역 자동 분할 수행
- 라벨은 3D 형태로 저장됨
4. 정합 및 리사이징
- CT와 동일하게 affine registration → template에 정렬
- 동일 해상도 및 크기 크롭 수행
5. Bias Field 보정
- MR 영상에서 발생하는 비균일한 조명을 보정하기 위해 N4 bias correction 적용
6. 좌우 대칭 라벨 통일
- 시상면(sagittal plane)을 기준으로 좌우(좌뇌, 우뇌 --> 뇌) 라벨을 통합
- 총 16개 카테고리의 해부학 라벨 생성
[관련 논문]
- Mamba-based deformable medical image registration with an annotated brain MR-CT dataset
[녹화 영상 링크]
https://us06web.zoom.us/rec/share/j_ZoeYqo2Ji1j1HqngThkQHGTzHG_pgUOpXVPol3rLfI_XFH_VeALhwtTcB00dLH.iGRCNyEaHglfT0wB?startTime=1754281817000
2025.08.04.
[세미나 주제]
Mamba-based deformable medical image registration with an annotated brain MR-CT dataset
[발표자]
김정년
[요약]
MambaMorph는 기존 Deformable Image Registration(DIR)의 한계를 극복하기 위해 제안된 새로운 registration 프레임워크이다. 기존 CNN 기반 방법은 지역적인 정보만을 처리하는 구조로, 장거리 의존성(long-range dependency)을 반영하는 데 한계가 있었다. 이를 보완하기 위해, MambaMorph는 local feature 학습을 담당하는 고해상도 branch와 global context를 반영하는 Mamba 기반 U-shape branch로 구성된 dual-branch registration 모듈을 설계하였다. 핵심 구성 요소인 Mamba block은 Selective State Space Model(SSM)을 이용하여 긴 시퀀스의 정보를 효율적으로 처리하며, 기존 self-attention보다 연산량은 적고 장거리 정보를 효과적으로 반영할 수 있다. 입력 3D volume은 patch 단위로 분할된 뒤 position embedding과 patch merging을 통해 시퀀스로 변환되어 Mamba block으로 전달된다. 이후 두 branch의 출력을 통합하여 변형 필드(ϕ)를 예측하고, STN(Spatial Transformer Network)을 통해 moving image에 정합을 수행한다.
Loss 함수는 정합된 영상과 고정 영상 간 segmentation label의 Dice Loss와, 변형장의 부드러움을 유지하기 위한 Smoothness Loss로 구성된다. 특히 Dice Loss는 semi-supervised 방식으로, registration 성능을 정량화하면서도 라벨 의존도를 줄인다. 실험은 저자들이 새롭게 구축한 SR-Reg dataset에서 수행되었으며, 해당 데이터는 MR-CT 영상 쌍 180개와 정밀한 skull-stripping, intensity 정규화 및 16개 해부학적 label을 포함한다. MambaMorph는 다양한 baseline보다 높은 Dice Score와 낮은 경계 오차를 기록하며 정합 정확도와 해부학적 일관성에서 우수한 성능을 보였다.
[Q&A]
Q1. Dice Loss(segmentation)만을 사용한 이유가 따로 있는가? (일반적인 mse나 이런 loss를 사용하지 않은 이유)
A1. MambaMorph는 multi-modal 정합 문제에 적합하고, 해부학적 구조 보존에 민감한 Dice Loss를 사용하여 segmentation 기반의 정합 정확도를 직접 향상시키는 것을 목표로 합니다. 반면 MSE나 L1은 modality 차이(CT vs MR)를 반영하지 못하고, 오히려 왜곡된 학습을 유도할 수 있어 사용하지 않았다.
Q2. SR-Reg 데이터를 만드는 자세한 과정 설명
A2.
CT 전처리 과정 요약
1. 두개골 제거 (Skull Stripping)
- SynthStrip 도구를 사용하여 CT 볼륨에서 두개골 제거
- 뇌 조직 마스크 생성
2. 마스크 보정 및 통일
- CT 마스크는 MR과의 공통 영역으로 통일
- 두 modality에서 공통되는 뇌 조직만 보존
3. 정렬 (Registration)
- MR과 함께 템플릿 공간에 affine 정합 수행
- 정합된 상태에서 고정 해상도로 크롭: [176, 208, 192], 1mm³
4. 강도 보정 (Intensity Clipping)
- CT의 뇌 이외 영역 제거를 위해 intensity 범위를 **[-100, 200]**으로 클리핑
MR 전처리 과정 요약
1. 두개골 제거 (Skull Stripping)
- CT와 동일하게 SynthStrip으로 skull 제거
- 뇌 마스크 생성
2. 마스크 검토 및 통합
- CT와의 공통 마스크 영역만 유지
3. 해부학적 라벨 생성
- SynthSeg 모델로 뇌 해부학 영역 자동 분할 수행
- 라벨은 3D 형태로 저장됨
4. 정합 및 리사이징
- CT와 동일하게 affine registration → template에 정렬
- 동일 해상도 및 크기 크롭 수행
5. Bias Field 보정
- MR 영상에서 발생하는 비균일한 조명을 보정하기 위해 N4 bias correction 적용
6. 좌우 대칭 라벨 통일
- 시상면(sagittal plane)을 기준으로 좌우(좌뇌, 우뇌 --> 뇌) 라벨을 통합
- 총 16개 카테고리의 해부학 라벨 생성
[관련 논문]
- Mamba-based deformable medical image registration with an annotated brain MR-CT dataset
[녹화 영상 링크]
https://us06web.zoom.us/rec/share/j_ZoeYqo2Ji1j1HqngThkQHGTzHG_pgUOpXVPol3rLfI_XFH_VeALhwtTcB00dLH.iGRCNyEaHglfT0wB?startTime=1754281817000
첨부파일
- 이전글[202050818 특별 세미나] H-UDMIR: A Hybrid Unsupervised Deep Learning Framework for Deformable Medical Image Registration 25.08.21
- 다음글[20250714 특별 세미나] Deformable image registration with high-dimensional map constraint and alignment-synthesis enhancement feature fusion 25.07.15
댓글목록
등록된 댓글이 없습니다.