• 목록

[일시]
2025.010.15

[세미나 주제]
Automated Configuration Search for Semantic Segmentation

[발표자]
장유나

[요약]
본 발표에서는 Semantic Segmentation을 위한 NAS 방법론 중 크게 다른 특징을 가지며 벤치마크처럼 사용될 수 있는 연구 3가지를 소개한다. 기존의 NAS 연구는 일반적으로 image classification을 위한 architecture 탐색을 위해 제안되며 대부분 NAS에서 사용되는 벤치마크는 모두 classification을 기준으로 한다. 하지만 semantic segmentation은 image classification과 다르게 high-resolution 이미지를 다루면서 전체적인 맥락의 정보를 다뤄야 하고, pixel-wise prediction을 요구하기 때문에 image classification을 위한 방법론을 segmentation으로 확장했을 때 높은 성능을 기대하기 어렵다. 이러한 맥락에서 segmentation을 위한 NAS 방법론을 소개하게 되었고, 가장 첫번째로는 nnU-Net이 있다. 해당 방법론은 architecture 부분의 다양한 변형을 취해 성능을 높인 방법론들이 다양한 데이터셋에서 일관적인 성능을 보이지 못하는 것은 사실 architectue가 아닌 그 외를 구성하는 configuration의 setting에 달렸다고 분석, 이를 자동으로 data로부터 특징을 추출, configuration을 설정하도록 하여, architecture 에 대해 수정하지 않은 기존 U-net 구조에서 높은 성능을 보인다. 이는 architecture 뿐만 아니라 다양한 세팅이 실험 결과에 영항을 미칠 수 있음을 의미한다. 두번째로 소개한 AutoDeeplab의 경우 cell architecture 에 대한 탐색 이후 동일한 cell을 hand-craft 네트워크 구조에 반복해 사용하는 방식이 아닌 cell과 network에 대한 구조를 모두 탐색하도록 하여 segmentation에서 요구하는 resolution에 대한 요건을 만족하도록 하였다. 이후 등장한 DiNTS 연구에서는 network 단위에서의 연결 구조에 집중하여, continuous한 model 구조와 final discrete model 간의 성능 차이에 대해서 지적하며 이를 완화할 수 있는 entropy loss를 추가하여 탐색 과정에서 이를 인지할 수 있도록 설계한 방법론을 제안하였다. 최근에도 이렇게 segmentation을 위한 NAS의 방법론이 다양하게 소개되는만큼 Segmentation을 위한 NAS 벤치마크 구축이 필요하다.


[Q&A]
- (AutoDeeplab) 탐색 시에 동일한 데이터셋을 trainA, trainB로 분리한 이유가 무엇인지?
: 탐색의 효율성과 overfitting을 방지하기 위함이다. NAS에서는 종종 탐색 데이터에 architecture가 과적합되어 실제 검증 데이터에서 성능 악화를 보이는 경우가 종종 있는데, 이를 완화하는 목적으로 사용되었다.


[관련 논문]
- nnU-Net: a self-configuring method for deep learning-based biomedical image segmentation
- Auto-Deeplab: Hierarchical neural architecture search for semantic image segmentation
- DiNTS: Differentiable neural network topology search for 3d medical image segmentation

[녹화 영상 링크]
https://us06web.zoom.us/rec/share/OnGoMlAgruCXou6I41499rt9wIpbyOjwaA5xiq_L2gMURtgooAVoWiu6TYTVRKad.G9ZTRKEyiJaphIsH