• 목록

[일시] 2025.07.10.

[리뷰 논문] LoRA: Low-Rank Adaptation of Large Language Models

[요약]
이 발표는 대규모 사전학습 언어 모델(PLM)의 파인튜닝에서 발생하는 비효율성을 해결하기 위한 방법으로 LoRA(Low-Rank Adaptation)를 중심으로 PEFT(Parameter-Efficient Fine-Tuning)의 이론과 실험적 분석을 다룬다. 기존 Full Fine-Tuning은 모든 파라미터를 업데이트해야 하며, 이는 계산 비용, 저장 공간, 작업 전환 측면에서 비효율적이다. 이를 대체하기 위해 등장한 PEFT는 Additive, Partial, Reparameterized, Hybrid 방식으로 나뉘며, 그 중 LoRA는 기존 weight matrix를 고정하고, low-rank 행렬(ΔW = BA)만 학습하는 방식으로 성능 손실 없이 파라미터 수를 수천 배 줄인다. LoRA는 attention layer의 Wq, Wv 등에 적용되었을 때 가장 효과적이며, rank가 1~4 정도로 매우 작아도 충분한 성능을 보이며 low intrinsic rank의 존재를 시사한다. 특히, LoRA로 학습된 ΔW는 pre-trained weight W와는 다른 방향의 subspace에 위치하며, 기존 W에서 약하게 표현된 중요한 정보를 증폭시키는 역할을 한다는 것이 실험적으로 증명되었다. 또한 다양한 다운스트림 태스크에서 Adapter, Prompt Tuning, BitFit 등 기존 PEFT 기법보다 높은 성능을 보이며, Vision 모델에서도 구조를 변형해 적용 가능함을 보였다. 결론적으로, LoRA는 추론 속도 저하 없이 효율적인 학습이 가능하고, 파라미터 저장 및 모듈 전환 측면에서도 유리하여 PLM과 PVM 모두에서 통합적인 PEFT 전략의 유망한 해법임을 입증하였다. 향후에는 layer 선택 자동화, cross-modal 확장, rank 선택 최적화, intrinsic dimension 기반의 이론적 분석 등 후속 연구가 필요하다.

[녹화 영상 링크]
https://us06web.zoom.us/rec/share/ZtVl5QvS6u_uaFXHI0qsqAa7-2CH-eXSAweAAaLtn37qfLmPg6SGto0gR34Hwm4t.OwlvBYDNjXqNf4aJ