• 목록

[일시] 2025.08.21.

[리뷰 논문] Neural Prompt Search

[요약]
본 발표는 PEFT 분야에서 제안되었던 대표적인 prompt 모듈(Adapter, VPT, LoRA)이 데이터셋마다의 성능이 다르게 나오고, 이를 일일이 수작업으로 결정하는 과정은 상당한 노동을 요구한다는 점을 해결하고자 NAS의 탐색 기법을 적용하고자 한다. ViT의 transformer layer 설계를 제안한 AutoFormer 의 기법을 기반으로 Transformer layer 내에 각 프롬프트 모듈을 어떠한 조합을 통해 설계할 것인지에 대한 부분을 조합에 대한 탐색으로 결정하도록 하여, 다양한 분야의 데이터에 있어서 향상된 성능을 보이게 된다. 탐색에서는 supernet training을 기반으로 한 evolution search를 적용하였고, 필요에 따라 retraining 과정을 포함시켰다. 이때 image classification 테스크에서 VTAB 벤치마크 내 다양한 데이터셋에서의 성능으로 그 효과를 확인할 수 있었다. 특히 연산량 및 시간에 대한 지표에서, 제안된 NOAH의 기법을 사용하였을 때, 기존 prompt 기법들과 학습시간 및 모델 용량의 측면에서 높은 효과를 보이는 것을 확인할 수 있었다.

다만, evolution search 를 사용한다는 점에서의 탐색 효율성이 아쉬우며, 이때 초기 세팅에 의해 탐색된 architecture의 결과가 달라질 수 있다는 점에서 그 한계를 확인할 수 있다.

[Q&A]
- 연산량 및 시간 측면에서 과연 효과적이라고 볼 수 있는 지표인건지 궁금합니다.
A) 기존 기법들에 비해 1/6로 축소된 모델 크기에서 기존 성능을 능가하는 결과를 보이며, 학습 시간 또한 기존 모델의 거대한 버전에 비해 개선된 것을 확인할 수 있습니다. 탐색 시간을 고려하더라도 시간이 전체적으로 줄어들었다는 점에서 그 효과를 보였다고 할 수 있습니다.

[녹화 영상 링크]
https://us06web.zoom.us/rec/share/sDlhUJx7lMit4it8Uzs8hY7g3rEzIQVjAudMhlr7uFxgg1CLnDXkzA8ApKt5G_Lo.qx9ct-9Z3sHJvGVX