컴백부터 K-뷰티까지 — K-컬쳐의 모든 것을 메일로 받아보세요메일로 받아보기

METAL MEDIA

모델을 통째로 학습하지 않고도, 학습 초반 몇 걸음의 기울기를 미리 훔쳐봐서 LoRA를 더 똑똑하게 초기화하는 법

arXiv:2608.198002026-08-21

LoRA-GA$^2$: Low Rank Adaptation with Multi-step Gradient Adaptive Alignment

모델을 통째로 학습하지 않고도, 학습 초반 몇 걸음의 기울기를 미리 훔쳐봐서 LoRA를 더 똑똑하게 초기화하는 법

LoRA는 큰 모델을 적은 메모리로 미세조정하는 방법이지만 전체 미세조정보다 성능이 떨어지는 문제가 있었다. 이 논문은 학습 시작 직전에 몇 스텝만 가볍게 미리 굴려본 기울기(다단계 기울기)를 이용해 어떤 층에 얼마나 많은 용량을 줄지 정하고 LoRA 가중치의 초기값도 여기에 맞춰 설정하는 LoRA-GA2를 제안한다. 그 결과 GLUE, GSM8K, HumanEval 등 여러 벤치마크에서 기존 LoRA 변형들보다 꾸준히 더 나은 성능을 냈다.

METAL MEDIA 해설 도표

모델을 통째로 학습하지 않고도, 학습 초반 몇 걸음의 기울기를 미리 훔쳐봐서 LoRA를 더 똑똑하게 초기화하는 법

  1. 01기존 방법들은 학습 시작 시점 딱 한 번의 기울기(한 단계 기울기)만 보고 LoRA를 초기화했는데, 이는 실제 학습이 진행되는 방향을 제대로 반영하지 못한다는 한계가 있었다.
  2. 02반대로 매 스텝마다 기울기를 맞추려는 방법은 정확하지만 옵티마이저를 바꿔야 하고 메모리와 시간을 크게 잡아먹는 단점이 있었다.
  3. 03LoRA-GA2는 AdaLomo라는 가벼운 옵티마이저로 몇 스텝만 임시로 굴려 기울기를 CPU에 누적한 뒤, 원래 가중치를 복원하고 이 누적 정보로 층별 순위(rank) 배분과 초기값을 정한다. 이 과정은 추가 GPU 메모리를 쓰지 않고 시간도 조금만 더 든다.
  4. 04순위 배분에는 특정 층이 얼마나 중요한지를 보는 민감도 점수와 그 층의 기울기가 몇 개의 방향으로 퍼져 있는지를 보는 유효 순위(effective rank) 점수를 함께 곱해서 사용해, 한쪽 지표만 쓸 때 생기는 낭비를 줄였다.
  5. 05T5-Base로 GLUE 벤치마크(순위 8 기준)에서 기존 최고 성능 방법보다 평균 0.66점, Llama3.1-8B-Base로는 GSM8K에서 1.03점, HumanEval에서 0.87점 더 높은 성능을 얻었고, CLIP-ViT-B/16 이미지 분류에서도 최고 기준 대비 0.63점 앞섰다.
METAL MEDIA이 원문을 바탕으로 재구성한 해설 도표이며, 논문 저자의 원문 figure가 아닙니다.

무엇을 했나

  1. 기존 방법들은 학습 시작 시점 딱 한 번의 기울기(한 단계 기울기)만 보고 LoRA를 초기화했는데, 이는 실제 학습이 진행되는 방향을 제대로 반영하지 못한다는 한계가 있었다.
  2. 반대로 매 스텝마다 기울기를 맞추려는 방법은 정확하지만 옵티마이저를 바꿔야 하고 메모리와 시간을 크게 잡아먹는 단점이 있었다.
  3. LoRA-GA2는 AdaLomo라는 가벼운 옵티마이저로 몇 스텝만 임시로 굴려 기울기를 CPU에 누적한 뒤, 원래 가중치를 복원하고 이 누적 정보로 층별 순위(rank) 배분과 초기값을 정한다. 이 과정은 추가 GPU 메모리를 쓰지 않고 시간도 조금만 더 든다.
  4. 순위 배분에는 특정 층이 얼마나 중요한지를 보는 민감도 점수와 그 층의 기울기가 몇 개의 방향으로 퍼져 있는지를 보는 유효 순위(effective rank) 점수를 함께 곱해서 사용해, 한쪽 지표만 쓸 때 생기는 낭비를 줄였다.
  5. T5-Base로 GLUE 벤치마크(순위 8 기준)에서 기존 최고 성능 방법보다 평균 0.66점, Llama3.1-8B-Base로는 GSM8K에서 1.03점, HumanEval에서 0.87점 더 높은 성능을 얻었고, CLIP-ViT-B/16 이미지 분류에서도 최고 기준 대비 0.63점 앞섰다.
Figure 1: Illustration of (a) LoRA; (b) One-step gradients based LoRA Variants; (c) Multi-step gradients based LoRA Variants; and (d) Ours (LoRA-GA2), which introduces an efficient probe for estimating multi-step gradients of pre-trained weights and utilizing the directions and intrinsic dimensionalities of the gradients to initialize low-rank weights.
Figure 1: Illustration of (a) LoRA; (b) One-step gradients based LoRA Variants; (c) Multi-step gradients based LoRA Variants; and (d) Ours (LoRA-GA2), which introduces an efficient probe for estimating multi-step gradients of pre-trained weights and utilizing the directions and intrinsic dimensionalities of the gradients to initialize low-rank weights.
Table 1: Performance of fine-tuning T5-Base on 5 sub-tasks of the GLUE benchmark. Bold and underline indicate the highest and second-highest scores of low-rank methods with r=8 or rref=8.
MethodMNLISST-2CoLAQNLIMRPCAverage
Full86.33±0.0094.75±0.2180.70±0.2493.19±0.2284.56±0.7387.91
LoRA (13)85.30±0.0494.04±0.1169.35±0.0593.19±0.2284.56±0.7385.29
Convergence Optimization Methods for LoRA
rsLoRA (15)85.73±0.1094.19±0.2372.32±1.1293.12±0.0952.86±2.2779.64
DoRA (19)85.67±0.0994.04±0.5372.04±0.9493.04±0.0668.08±0.5182.57
LoRA+ (9)85.81±0.0993.85±0.2477.53±0.2093.14±0.0374.43±1.3984.95
Initialization Optimization Methods for LoRA
PiSSA (22)85.75±0.0794.07±0.0674.27±0.3993.15±0.1476.31±0.5184.71
LoRA-GA (30)85.70±0.0994.11±0.1880.57±0.2093.18±0.0685.29±0.2487.77
Adaptive Methods for LoRA
AdaLoRA (37)85.45±0.1193.69±0.2069.16±0.2491.66±0.0568.14±0.2881.62
RaLoRA (34)85.76±0.0394.22±0.2978.11±0.4593.36±0.1484.74±0.2787.24
GoRA (10)85.91±0.2294.68±0.4379.86±0.3593.27±0.0886.10±0.2087.96
LoRA-GA2 (Ours)85.91±0.0194.72±0.3782.39±0.2493.19±0.0586.88±0.1488.62
Figure 2: Framework of LoRA-GA2. A temporary multi-step probe collects trajectory gradients, restores the pretrained weights, and uses the accumulated signal for both rank allocation and SVD initialization before standard LoRA training.
Figure 2: Framework of LoRA-GA2. A temporary multi-step probe collects trajectory gradients, restores the pretrained weights, and uses the accumulated signal for both rank allocation and SVD initialization before standard LoRA training.
Table 2: Performance of fine-tuning Llama3.1-8B-Base on GSM8K and HumanEval.
MethodGSM8KHumanEval
Full73.69±0.2851.63±1.27
LoRA (13)67.78±1.2543.09±0.35
rsLoRA (15)68.36±0.7445.78±2.80
DoRA (19)69.17±1.0043.70±1.54
LoRA+ (9)71.29±0.9344.51±2.11
OLoRA (2)68.54±0.4243.29±2.44
PiSSA (22)68.56±1.0344.10±1.54
LoRA-GA (30)71.39±0.9043.29±0.61
AdaLoRA (37)70.63±0.7741.46±3.66
RaLoRA (34)72.25±0.5948.78±1.61
GoRA (10)72.91±0.7648.98±2.14
LoRA-GA2 (Ours)73.94±0.4849.85±0.33
Figure 3: Loss comparison of fine-tuning Llama3.1-8B-Base on MetamathQA using LoRA and LoRA-GA2
Figure 3: Loss comparison of fine-tuning Llama3.1-8B-Base on MetamathQA using LoRA and LoRA-GA2
Table 3: Performance of fine-tuning CLIP-ViT-B/16 on seven image classification tasks.
MethodCarsDTDEuroSATGTSRBRESISC45SUN397SVHNAverage
Zero-shot63.7544.3942.2235.2256.4662.5615.5345.73
LoRA (13)82.31±0.0876.97±0.5198.38±0.2097.10±0.0694.99±0.1177.19±0.1996.62±0.0689.08±0.10
MELoRA (26)82.65±0.3875.16±0.5998.64±0.0598.88±0.0595.78±0.1674.69±0.2296.95±0.0988.96±0.15
MoRA (14)84.61±0.2177.34±0.1498.65±0.1698.68±0.1896.33±0.1978.12±0.0697.17±0.1590.13±0.16
AdaLoRA (37)73.58±0.0973.79±0.4896.96±0.1258.87±0.3889.07±0.6072.00±0.1094.26±0.1379.79±0.27
DoRA (19)82.44±0.2676.86±0.8498.43±0.1797.25±0.1295.10±0.1677.30±0.1796.63±0.0489.14±0.07
rsLoRA (15)83.94±0.2277.64±0.3398.51±0.1798.69±0.1795.90±0.2077.96±0.2196.94±0.0689.94±0.06
LoRA+ (9)86.61±0.3673.33±1.3098.54±0.1498.99±0.2096.06±0.3876.80±0.3496.98±0.0889.62±0.19
PiSSA (22)83.36±0.3877.38±0.5798.54±0.0998.32±0.0995.92±0.4077.46±0.1397.00±0.0989.71±0.25
OLoRA (2)83.85±0.1378.60±0.2598.62±0.0398.49±0.1496.01±0.2877.30±0.0897.15±0.1490.00±0.15
RaLoRA (34)86.63±0.3077.75±0.2098.66±0.2798.98±0.1196.62±0.2877.86±0.0597.24±0.1190.53±0.03
LoRA-GA2 (Ours)87.82±0.1379.49±0.1198.83±0.1199.01±0.0896.48±0.2479.05±0.1497.42±0.0791.16±0.05
Figure 4: Rank allocation results of fine-tuning Llama3.1-8B-Base-base on MetamathQA.
Figure 4: Rank allocation results of fine-tuning Llama3.1-8B-Base-base on MetamathQA.
Table 4: Key ablations with standard deviations on Llama3.1-8B-Base.
VariantGSM8KHumanEval
One-step gradient72.13±0.3449.65±1.01
No SVD init.68.92±0.1248.37±2.50
No rank alloc.72.40±1.3248.88±0.63
Sensitivity only72.98±0.6548.17±2.28
Effective rank only73.51±0.5148.78±1.00
Full LoRA-GA273.94±0.4849.85±0.33
Figure 5: Ablation of the hyperparameters N and γ.
Figure 5: Ablation of the hyperparameters N and γ.

왜 중요한가

LoRA는 이미 널리 쓰이는 미세조정 방법이라 이런 개선은 같은 계산 자원으로 더 나은 모델 품질을 얻을 수 있다는 뜻이다. 특히 GPU 메모리를 늘리지 않고 학습 시간도 거의 늘리지 않으면서 성능을 올렸기 때문에 기존 LoRA 파이프라인에 바로 적용하기 쉽다는 점이 실무적으로 유의미하다.

이 논문의 용어

  • LoRA (Low-Rank Adaptation) · 큰 모델의 가중치를 직접 바꾸지 않고, 작은 두 개의 행렬만 학습해 미세조정을 적은 메모리로 하는 방법
  • 한 단계/다단계 기울기 · 기울기는 모델을 어느 방향으로 바꿔야 손실이 줄어드는지 알려주는 값. 한 단계는 시작 시점 한 번만, 다단계는 학습 초반 여러 스텝에 걸쳐 이를 관찰하는 것
  • SVD(특이값분해) 초기화 · 누적된 기울기를 몇 개의 주요 방향과 크기로 분해해 LoRA 가중치의 시작값을 그 방향에 맞춰 설정하는 방법
  • 유효 순위(effective rank) · 기울기가 몇 개의 독립적인 방향으로 얼마나 퍼져 있는지를 나타내는 지표
  • 민감도(sensitivity) · 어떤 층의 가중치를 조금 바꿨을 때 최종 손실이 얼마나 크게 변하는지, 즉 그 층이 작업에 얼마나 중요한지 보여주는 점수

저자 · Haonan He, Xinyue Fan

arXiv에서 원문 보기

최신 논문

논문 전체 보기 →

METAL MEDIA 최신 기사

그림 출처: Haonan He et al., arXiv:2608.19800, CC BY 4.0