• 목록

[일시] 2025.07.31

[리뷰 논문] SVFT: Sparse Vector Fine-Tuning of Pre-trained Models

[요약]
본 논문은 사전학습된 모델을 효율적으로 미세조정하기 위한 새로운 PEFT(Parameter-Efficient Fine-Tuning) 방식인 SVFT(Sparse Vector Fine-Tuning)를 제안한다. 기존 LoRA나 VeRA와 같은 PEFT 방식은 사전학습된 가중치 W를 고정하고, 저랭크 행렬이나 스케일 벡터를 추가 학습함으로써 효율성을 확보하지만, Full Fine-Tuning에 비해 성능 저하가 발생하는 경우가 많았다.

SVFT는 기존 방식과 달리, 사전학습된 가중치 W의 특이벡터(Singular Vectors)를 활용하여, ∆W를 rank-1 outer product들의 희소 조합(sparse combination)으로 표현한다. 이때, 학습되는 파라미터는 이러한 rank-1 항들의 스케일 계수이며, 구조적 제약 하에서 고표현력(High Expressivity)을 유지할 수 있다. 이 방식은 기존 PEFT 방식보다 훨씬 적은 파라미터 수로도 Full Fine-Tuning 가까운 성능을 달성함을 보여준다.
∆W의 구조적 특성에 대한 이론적 분석 및 LoRA, VeRA와의 수학적 비교를 통해 SVFT의 표현력, 구조 유지 능력, 파라미터 효율성의 입증하였다.

실험 결과 다양한 언어 및 비전 벤치마크(GSM-8K, MATH, GLUE, CIFAR-100 등)에서  SVFT가 기존 LoRA, DoRA, VeRA, BOFT 대비 높은 성능과 파라미터 효율성을 달성함였다.  Full Fine-Tuning 대비 최대 96%의 성능을 0.006%~0.25%의 파라미터만 학습하여 달성하였다.

 SVFT는 다양한 구조적 제약 하에서도 고표현력을 유지하며, 낮은 파라미터 예산으로도 강력한 성능을 발휘할 수 있는 새로운 경량화 PEFT 기법으로, 언어와 비전 모델 모두에 실용적으로 적용 가능한 가능성을 제시한다.

[녹화 영상 링크]
https://us06web.zoom.us/rec/share/bkDc8GT0O3o9zUscjAxsJoYbwWW7iHmfYwWhyJ7ILNgnoOmthsbSbBAL_mU7m0Qb.aRLbqN7yexU4Erlq