• 목록

[일시]
2025.07.16

[세미나 주제]
Zero-shot based NAS: Focusing on the search method

[발표자]
장유나

[요약]
본 발표에서는 zero-shot 기반의 Neural architecture search 기법을 다루면서 적용된 searching algorithm을 중점적으로 설명한다. 기존에 NAS 분야에서 제안되었떤 gradient descent, evolutionary algorithm 등의 방식에서는 architecture에 대한 평가와 동시에 다음 architecture에 대한 탐색을 진행할 수 있지만, architecture 자체에 대한 특징만을 평가하는 zero-shot proxy 기반의 방식에서는 다음 탐색할 architecture를 선택하는 일이 상당히 중요한 요소라고 할 수 있다. 이에 zero-shot NAS 분야에서는 크게 pruning 기반의 방식과 evolutionary algorithm 기반을 적용한다. evolutionary algorithm에서는 zero-cost proxy로 평가된 top-k architecture에 대해 mutation을 적용하는 방식으로 새로운 architecture를 탐색할 수 있도록 한다. 반면 supernet을 구성하는 pruning 기반의 방식에서는 zero-cost proxy를 기준으로 network 상의 connection 여부를 결정하는 방식론을 제안한다. 이는 탐색하고자 하는 network 구조에 따라 달라질 수 있으며, 최근 이런 기법을 기반으로 한 zero-shot NAS의 연구들이 많이 등장하고 있지만, 여전히 search cost에서의 부담이 있을 수 있기 때문에 trajectory 기반의 탐색 방식 등 다양한 탐색의 방식이 적용될 필요가 있다.

[Q&A]
- Expressivity로 연산될 때에 균등한지만 본다면, 일부 과업에서는 오히려 안좋은 성능을 보일 수 있는 것 아닌가?
: 이는 단순히 feature space에서의 분포라기 보다는 의미없는 feature가 존재하지 않는 상황으로 PC 값의 영향도가 충분히 잘 퍼져있어 설명력 있는 공간인지를 보고자 하는 의미의 지표를 나타낸다.

[관련 논문]
- Regularized evolution for image classifier architecture search
- AZ-NAS: Assembling Zero-Cost Proxies for Network Architecture Search
- SNIP: Single-shot network pruning based on connection sensitivity
- TE-NAS: Neural architecture search on ImageNet in Four GPU Hours: A Theoretically Inspired Perspective

[녹화 영상 링크]
https://us06web.zoom.us/rec/share/kBy6zGPsW0dKdC_-_nodmEDVqr84P-e8uJesldxoC_nhlxhcxNdActo3JsR5bXYO.Cxw5xxV2OVBDtwR9