• 목록

[일시] 2026.07.08

[세미나 주제]
DoRA: Weight-Decomposed Low-Rank Adaptation

[발표자]
장유나

[요약]
본 발표에서는 LoRA의 학습 파라미터 업데이트 방식에 대한 개선을 제안한 DoRA 논문을 소개한다. Weight decomposition의 따른 분석에서는 LoRA의 finetuning 성능 한계는 단순히 저차원의 rank 문제가 아닌 학습 업데이트 방식에 있다고 언급한다. Full finetuning(FT) 기반의 방식에서는 magnitude와 direction에 대한 업데이트를 나눠 진행함에 따라 subtle한 adjustment에 대해서도 대처 가능하지만, LoRA의 업데이트는 low-rank에서의 업데이트를 한번에 진행하기 때문에 이러한 점을 충분히 반영하지 못한다는 한계점이 존재한다. 이러한 부분을 개선하고자 DoRA의 연구에서는 magnitude와 directional 업데이트를 별도로 진행하여 FT와 유사한 학습 트렌드와 그에 따라 개선된 성능을 보이는 방법론을 제안한다. 이어서 해당 업데이트 방식을 LoRA의 variants에 해당하는 VeRA 연구와 combine하여 DVoRA 를 통한 실험을 진행해보았다. 이때 DVoRA에서는 VeRA의 parameter efficient 한 특징을 유지하면서도 weight update 방식을 DoRA의 접근 방식으로 개선된 성능을 달성할 수 있게 되었다.
 
[관련 논문]
- DoRA: Weight-Decomposed Low-Rank Adaptation
- VeRA: Vector-based random matrix adaptation

[녹화 영상]
- https://us06web.zoom.us/rec/share/uZ7C-3Ox9HhpH0u2Yww24qEBt5U_Johm136LpdnIc3nAhsNah4bTemQayj96K-w.POn9fQOnL0N6vcIz