경사하강법과 Adam은 같은 행렬을 다르게 골라낸다 — 원인은 손실함수가 못 보는 좌표 대칭성
arXiv:2608.051362026-08-04
The Loss Does Not See the Basis, but Adam Does
경사하강법과 Adam은 같은 행렬을 다르게 골라낸다 — 원인은 손실함수가 못 보는 좌표 대칭성
신경망 가중치를 W=UV^T로 쪼개 학습할 때, 경사하강법은 저랭크(단순한) 해를 선호하지만 Adam은 같은 초기화에서 시작해도 그렇지 않다. 저자는 이 차이를 U,V를 같은 회전으로 동시에 돌려도 손실이 변하지 않는 '게이지 대칭성'에서 찾아내고, 어떤 옵티마이저가 이 대칭성과 호환되는지(등변성)를 기준으로 9가지 대표 옵티마이저를 분류했다. 행렬 복원, 트랜스포머 어텐션, 실제 하이퍼스펙트럴 이미지 데이터에서 이 분류가 실제 성능 차이로 이어짐을 확인했다.
METAL MEDIA 해설 도표
게이지 대칭성이 옵티마이저를 두 그룹으로 가르는 구조
증거 상태측정 결과가 보고됨
게이지 대칭성W=UV^T에서 U,V에 같은 회전 Q를 곱해도 W와 손실이 그대로인 성질
등변적 옵티마이저경사하강법, 모멘텀, 공유스칼라 Adam, Muon, Shampoo — 회전된 좌표에서도 동일한 학습 궤적을 그림
좌표별(비등변) 옵티마이저Adam, RMSProp, signSGD, Lion — 좌표마다 다르게 계산해 회전에 따라 다른 궤적을 그림
행렬 복원·트랜스포머 실험두 그룹이 실제로 저랭크 복원 오차와 어텐션 헤드 내부 값에서 뚜렷한 차이를 보임
실제 데이터 검증하이퍼스펙트럴 이미지 완성 과제에서 등변적 방법(GD)이 같은 학습 손실 기준으로 더 낮은 held-out 오차를 기록
METAL MEDIA이 원문을 바탕으로 재구성한 해설 도표이며, 논문 저자의 원문 figure가 아닙니다.
무엇을 했나
W=UV^T처럼 두 행렬의 곱으로 모델을 표현하면, U와 V에 같은 직교행렬 Q를 곱해도(UQ, VQ) 결과 W와 손실은 변하지 않는다. 이를 '게이지 대칭성'이라 부른다.
옵티마이저가 이 대칭성과 호환되는지(등변성) 여부로 분류하면, 경사하강법·모멘텀·'공유 스칼라' Adam·Muon·Shampoo는 등변적이고, 표준 Adam·RMSProp 등 좌표별로 다르게 처리하는 방법들은 그렇지 않다.
40x40 크기, 랭크3인 가상 행렬을 과소결정된 관측으로부터 복원하는 실험에서, 9가지 옵티마이저를 학습 손실이 0에 가까워질 때까지 돌린 뒤 복원 오차를 비교했다. 등변적 방법들은 오차 0~0.29, 좌표별 방법들은 오차 0.42~0.57로 뚜렷이 갈렸다.
좌표별 처리 강도를 0(공유 스칼라)에서 1(표준 Adam)까지 한 매개변수로 조절하는 실험을 통해, 좌표별 처리의 정도가 강해질수록 저랭크 편향이 단조적으로 사라짐을 보여, 원인이 '좌표마다 다르게 처리하는 비등방성'임을 확인했다.
작은 트랜스포머에서 동일한 함수를 두 가지 다른 좌표계로 표현해 각각 학습시켰더니, Adam은 첫 스텝부터 두 사본을 다르게 취급해 최종적으로 어텐션 헤드 내부 값(WQ^T WK)이 56% 차이 나는 결과를 냈고, 등변적 옵티마이저들은 부동소수점 오차 수준 이내로 동일했다.
Figure 1: Equivariance structures the set of available optimizers under a fixed computational budget. Ground-truth recovery for nine optimizer rules (eight standard rules plus a shared-scalar Adam as a baseline) on an underdetermined matrix sensing task without weight decay. All are run until the training residuals vanish (interpolation), which rules out any performance difference due to residual training error. The four gauge-equivariant methods (blue) maintain the low-rank bias while the five coordinate-wise approaches (vermilion) do not: on this task and at this budget, recovery error is at most 0.286 for every equivariant method and above 0.42 for every coordinate-wise one, leaving the space between the two unoccupied. That qualifier matters, as one of the coordinate-wise methods eventually reaches similar performance beyond the 2×104-step budget used here (Appendix D.10). Muon’s label reads 6.8×10−6, the unrounded value of the 0.0000 entry in Table 2.
Table 1: Closest prior and concurrent work. The recurring distinction is whether an update respects a relevant orthogonal symmetry; we ask what it predicts for interpolant selection in factored models at matched training loss.
work
setting and result
relation to this paper
VectorAdam; Xie et al. 2025
Examine ambient rotations of vector parameters under general loss functions. Show Adam is sensitive to such rotations, whereas shared scalar updates restore equivariance.
We focus instead on an internal factorization gauge and connect the same principle to solution selection among interpolants, rather than optimization speed.
LoRA-RITE; DePavia et al. 2025
Study transformations of LoRA factors and rotations in data or feature space. Demonstrate improved optimization through invariance and altered implicit bias in Adam under rotations.
We isolate the intrinsic gauge of the factorization itself and evaluate recovery performance at matched training loss across a range of optimizers.
Silverstein et al. 2026; Zhang 2026
Analyze per-head query–key (QK) rotations and Schur multiplicity bases. Highlight that optimizer design can intentionally break or preserve symmetry.
We maintain the gauge structure intact and use it to analyze solutions chosen by standard, deployed optimizers.
Lau & Su 2026; Shirodkar 2026
Investigate architectural symmetry groups and construct optimizers that exactly respect equivariance.
These works support symmetry-aware design; we instead assess the practical consequences of preserving or violating such symmetry.
Kang et al. 2026; Dragutinović et al. 2026
Study Muon’s spectral dynamics and its impact on simplicity bias.
We extend this by mapping conditions under which uniform spectral growth helps or harms performance as the target develops a spectral tail.
Figure 2: Adam is basis-dependent in attention, shown here by the relative logit distance between twins in the gauge and noise experiments. In the former the two copies are initialized as the same function, while in the latter they differ by a small (10−7) perturbation in the same basis. Adam’s gauge twins (solid vermilion line) split structurally in one step, to a value four orders of magnitude greater than its own noise twin (dotted line), and then saturate. The same is not observed for SGD (heavy-ball momentum 0.9) or scalar-Adam, whose gauge twins remain at float noise. For Muon the gauge and noise twins trace the same curve, indicating that its separation is numerical chaos stemming from msign, not basis dependence.
Table 2: The optimizer-zoo map. Matrix sensing, 40×40, rank 3 ground truth, m=2×dof, no weight decay, three paired random seeds, all nine optimizer runs continued until interpolation (final training loss reported). Recovery is measured as ‖W−X∗‖F/‖X∗‖F (lower is better); erank is effective rank; bal is ‖U⊤U−V⊤V‖F; the notes column names the theoretical framework each row falls under—Gunasekar et al. 2017 for gradient descent (GD) and Wilson et al. 2017 for Adam. (cosine) marks the four methods that need cosine annealing to interpolate; the first row is a convex baseline, not an optimizer, recovering the minimum-nuclear-norm solution of the same measurements (both are unpacked in the text above). All values are means over the three seeds, with no dispersion quoted.
method
recovery ↓
erank
bal
train loss
notes
min-nuclear-norm
0.0335
3.30
—
—
convex reference, not an optimizer
equivariant
Muon (cosine)
0.0000
2.95
1.65
5.7×10−8
near-exact (6.8×10−6 unrounded)
GD
0.1312
4.51
0.06
6.5×10−8
Gunasekar anchor
scalar-Adam (p=0)
0.2010
5.43
0.14
3.5×10−8
equivariant; flow proxy
Shampoo
0.2856
6.95
1.47
4.5×10−8
coord.-wise
Lion (cosine)
0.4248
10.58
7.35
8.0×10−8
signum (cosine)
0.4454
7.83
1.79
6.5×10−8
low-rank-but-wrong
RMSProp (cosine)
0.5266
12.80
4.74
6.0×10−8
needs decay; Appendix D.7
Adafactor
0.5430
10.72
3.40
5.6×10−8
factored diag. still breaks
Adam
0.5734
14.37
5.37
1.2×10−11
Wilson anchor
Figure 4: The spectral-tail phase diagram. Recovery vs. the target’s tail-amplitude parameter τ (the tail carries τ2 of the target’s energy). Adam has the worst recovery error at every τ plotted. Within the equivariant class, Muon’s aggressive equal-rate schedule is exact at τ=0 and crosses over to GD near τ∗≈0.2. At the largest τ, all methods are near the measurement-determined floor set by the unidentifiable tail, and GD and Shampoo are within seed noise, so the ordering there is uninformative. Bands show ±1 s.d. over 10 seeds. The boundary is unchanged when every method is given the identical cosine schedule (Appendix D).
Table 3: Adam is basis-dependent in attention, and the noise twin separates structure from chaos. The values are relative logit distances between twins on validation inputs for the same task; multi-seed statistics are shown in Appendix D.5. At the harness’s default CPU precision, the baseline rounding threshold is the step-0 column (≈2×10−7, i.e. one function evaluated across two bases); the equivariant methods reach this floor at step 1, and their later nonzero entries result from numerical noise, not from gauge-symmetry violations—Muon’s split in particular, as per Proposition 4.2. These discrepancies are reduced, if not eliminated, in GPU float64, where the step-1 values fall within 2.8×10−16–1.1×10−15 over the three methods and four configurations; Table 9 carries the worst case in each.
optimizer
twin type
step 0
step 1
step 100
step 1500 (final)
Adam
gauge
1.8×10−7
3.6×𝟏𝟎−𝟑
6.5×10−1
7.7×10−1
Adam
A=I
0
0
0
0
Adam
noise (10−7)
2.6×10−7
2.9×10−7
1.7×10−5
1.6×10−5
SGD
gauge
1.8×10−7
2.9×10−7
3.7×10−5
2.0×10−5
scalar-Adam
gauge
1.8×10−7
1.6×10−7
4.1×10−6
4.3×10−6
Muon
gauge
1.8×10−7
2.2×10−7
2.3×10−2
8.5×10−1
Muon
noise (10−7)
2.6×10−7
2.9×10−7
4.0×10−2
8.7×10−1
Figure 5: Performance as a function of training loss on real data (Indian Pines, m/dof≈1.15, 4 random seeds, GPU float64; learning rates chosen via the train-only rule in Appendix D.6). This is the corresponding row of Table 5, read along its whole path rather than at its endpoint alone. Gradient descent (GD) sits below Adam at every matched training loss beyond the shared starting point, and the two are compared only at equal training loss, so no fitted run is ever set against an unfitted one. Left panel: held-out error; bands are ±1 s.d. over the 4 seeds, hidden inside the line width wherever the seeds agree—the whole path for GD—and opening up only where they do not, as Adam’s do once overfitting begins. Right panel: effective rank. GD settles between 5.6 and 13.2; Adam climbs to 28, against the scene’s intrinsic rank of 24; Muon tracks the rank cap until convergence, then drops sharply.
Table 4: Spectral-tail phase diagram (recovery; 10 seeds, float64). Muon is exact at τ=0, degrades fastest as tail energy grows, and cedes to GD in a crossover region near τ∗≈0.2 (≈4% tail energy). Bold marks each row’s best recovery, with both members of a within-noise tie bolded; the seed dispersions behind those ties are the ±1 s.d. bands of Figure 4, omitted here for space. Decay-symmetrized rows in Appendix D.
τ
GD
Adam
Muon
Shampoo
regime
0.00
0.112
0.542
0.000
0.334
Muon exact
0.05
0.150
0.543
0.095
0.343
Muon
0.10
0.214
0.555
0.191
0.375
Muon
0.20
0.351
0.597
0.354
0.449
boundary (≈4% tail); Muon cedes
0.35
0.549
0.685
0.580
0.576
GD
0.50
0.727
0.776
0.752
0.723
tail regime; GD/Shampoo within noise
Table 5: Matched-loss recovery on two hyperspectral datasets (held-out RMSE ×10−2, mean ± standard deviation over 4 random seeds, evaluated at matched training loss ≤10−5, GPU float64; learning rates as in Appendix D.6). The reduction column reports the percent improvement of GD over Adam, as (Adam−GD)/Adam using mean performance over seeds; gradient descent (GD) outperforms Adam in every individual seed of every entry. In parentheses, Muon’s effective rank at the deepest point in the fit (after the collapse typical of the late stages), given a model capacity of 48.
dataset
m/dof24
GD
Adam
RMSE reduction
Muon (rank)
Indian Pines
1.15
1.481±0.013
2.600±0.047
+43.0%
3.397±0.082 (36)
1.9
1.244±0.012
1.718±0.035
+27.6%
3.210±0.122 (35)
Pavia Univ.
1.15
0.819±0.026
1.458±0.123
+43.8%
1.260±0.121 (10)
1.9
0.615±0.010
0.798±0.023
+22.9%
0.770±0.017 0(8)
Table 6: Recovery under three schedules (3 seeds, best-recovery lr per cell) for five reference methods: the equivariant anchors GD, scalar-Adam, and Shampoo, the coordinate-wise anchor Adam, and the constant-norm case Muon. The split does not move; under a single uniform cosine schedule the complete nine-method classification is again 9/9 (selection-rule test, Appendix D.3).
method
constant
cosine
cosine, full horizon
GD
0.1312
0.1312
0.1312
Adam
0.5734
0.5734
0.5764
scalar-Adam
0.2010
0.2010
0.2010
Muon
(0.0084†)
0.0000
0.0000
Shampoo
0.2856
0.2856
0.2856
Table 7: Recovery versus learning rate for the five reference methods, averaged over three random seeds. For each method the results occupy two rows: the top row gives the learning-rate grid used (of varying length, since Adam has five rates while the rest have four), and the second row the corresponding recovery, so a method’s row simply ends where its grid does. “→fl” signifies the lowest learning rate at which interpolation still succeeds, the flow-limit-aligned column; n/i = does not interpolate; div = diverges.
method
learning-rate grid
GD
lr
0.003→fl
0.01
0.03
0.1
recovery
0.113
0.131
0.437
div
Adam
lr
0.0003→fl
0.001
0.003
0.01
0.03
recovery
0.560
0.576
0.570
0.573
0.581
scalar-Adam
lr
0.0003→fl
0.001
0.003
0.01
recovery
0.165
0.201
0.256
0.357
Muon (cosine)
lr
0.003
0.01
0.03
0.1
recovery
0.915
0.748
0.000
0.000
Shampoo
lr
0.01
0.03
0.1
0.3
recovery
(0.881 n/i)
0.286
div
div
Table 8: Recovery vs. initialization scale (3 seeds). The split holds at 10−3 (the paper’s setting) and 3×10−3; at 10−2 the small-init bias fades for every method except Muon, which remains exact, marking its bias as schedule- rather than init-driven.
init
GD
Adam
scalar-Adam
Muon
Shampoo
10−3
0.131
0.573
0.201
0.000
0.286
3×10−3
0.203
0.575
0.260
0.000
0.352
10−2
0.318
0.584
0.358
0.000
0.575
Table 9: Twin drift measured at scale and on real text, in GPU float64 precision. For each configuration, Adam runs 6 init×draw gauge pairs while each equivariant method runs 2; the A=I determinism twin is evaluated for Adam at every configuration and is exactly 0 throughout. “eq. step 1” is the maximum (worst) gauge drift across the three equivariant methods (SGD, scalar-Adam, Muon) at step 1, all at machine precision; “ratio” is the onset ratio defined above. The character-level language model twins use the same deterministic minibatch stream and reach comparable validation losses (1.579 vs. 1.585).
config
Adam gauge, step 1
eq., step 1
Adam, final
ratio (step 1)
mod-47, 2L, d=64
4.0–5.7×10−3
5.4×10−16
0.69–0.78
93×
mod-97, 4L, d=128
8.2–11×10−3
7.3×10−16
0.66–0.75
158×
mod-97, 6L, d=256
6.5–7.2×10−3
1.1×10−15
0.61–0.64
94×
text (char-LM), 6L, d=256
2.2–2.4×10−3
8.0×10−16
0.36–0.37
39×
Table 10: FlowAdam-p=0 recovery along a trajectory aligned by training loss (extended 1.2×105-step budget, 3 seeds). The mean at the 10−7 threshold (0.1691) matches the original 3×104-step result exactly and improves upon the dial-only baseline (0.2010) by +15.9%. Its effective rank (4.8–5.4) is the closest of any Adam variant in this study to gradient descent’s (4.51).
train loss ≤
10−4
10−5
3×10−6
10−6
10−7
erank
seed 42
0.1404
0.1401
0.1401
0.1401
0.1401
4.77
seed 123
0.1558
0.1556
0.1555
0.1555
0.1555
4.84
seed 456
0.2120
0.2117
0.2117
0.2117
0.2117
5.41
mean
0.1694
0.1691
0.1691
0.1691
0.1691
5.01
Table 11: Optimization algorithms on the Zoo recovery task, across problem sizes (10-seed averages; float64, H100 GPU, 4×104 steps). The ranking is consistent across scales: gradient descent (GD), scalar-Adam (p=0), and Muon significantly outperform coordinate-wise Adam, RMSProp, Lion, and Adafactor, with Adam-type methods at 1.7–4.3× GD’s error at every size and Muon almost exact (error <10−5 for all seeds) up to n=256. The errors of GD and scalar-Adam are limited by the step-size choice (Remark A.5), so the relative ordering, not the absolute value, is the conclusion.
equivariant
coordinate-wise
n
GD
sc-Adam
Muon
Shampoo†
Adam
RMSProp
Lion
Adafactor
signum‡
64
0.143
0.195
0.000
0.646
0.574
0.596
0.483
0.612
0.000
96
0.202
0.279
0.000
0.595
0.609
0.615§
0.548
0.687
0.000
128
0.248
0.345
0.000
0.659
0.643
0.617
0.602
0.745
0.000
192
0.346
0.468
0.000
0.838
0.696
0.669
0.760
0.817
0.000
256
0.410
0.548
0.000
0.918
0.741
0.708
0.895
0.867
0.000
실제로 확인된 결과
행렬 복원 실험에서 등변적 옵티마이저(경사하강법, 공유스칼라 Adam, Muon, Shampoo 등)는 복원 오차가 최대 0.286인 반면, 좌표별 옵티마이저(Adam, RMSProp 등)는 모두 0.42 이상으로 두 그룹이 겹치지 않았다(2x10^4 스텝 예산 기준).
좌표별 처리 정도를 0에서 1로 조절하는 다이얼 실험에서, 좌표별 처리가 강해질수록 복원 성능과 유효 랭크가 단조적으로 나빠졌다.
스펙트럴 테일 비율(tau)을 바꿔가며 본 결과, tau=0에서는 Muon이 정확히 복원했지만 tail 비율이 약 0.2(에너지 약 4%) 근처에서 경사하강법이 Muon을 앞서는 교차가 나타났다.
동일한 함수를 서로 다른 좌표로 표현한 두 트랜스포머 사본에서 Adam은 첫 학습 스텝부터 두 사본을 다르게 갱신했고, 최종적으로 어텐션 헤드 내부 값이 56% 차이 났으며, 경사하강법과 공유스칼라 Adam은 부동소수점 오차 수준으로 동일했다.
두 개의 실제 하이퍼스펙트럴 이미지 데이터셋(Indian Pines, Pavia University)에서 학습 손실을 같게 맞춘 상태로 비교했을 때, 관측 밀도가 가장 낮은 조건에서 경사하강법이 Adam보다 held-out 오차를 43~44% 줄였고 유효 랭크도 더 낮았다.
어디에 쓸 수 있나
행렬 분해 형태(예: 저차원 임베딩, 어텐션의 쿼리·키 곱)를 포함한 모델을 학습시킬 때, 옵티마이저 선택이 단순히 학습 속도가 아니라 최종적으로 어떤 복잡도의 해에 도달하는지에 영향을 줄 수 있다는 점을 고려하는 데 참고할 수 있다.
부족한 관측(과소결정)으로부터 행렬이나 이미지를 복원하는 작업에서, 명시적인 정규화 없이도 경사하강법 계열 옵티마이저가 더 단순한 해를 찾을 수 있다는 가능성을 시사한다.
트랜스포머 어텐션 헤드의 내부 표현을 분석하거나 재현성을 검증할 때, Adam이 초기화의 미세한 좌표 차이만으로도 학습 궤적을 크게 갈라놓을 수 있다는 점을 유의할 수 있다.
한계와 남은 검증
실험은 40x40 크기의 인공 행렬 복원 문제, 소규모 트랜스포머(2층, 헤드 4개), 그리고 두 개의 하이퍼스펙트럴 이미지 데이터셋에 한정되어 있어 대규모 실제 모델에서 동일한 정도의 효과가 나타나는지는 확인되지 않았다.
저자들은 이 저랭크 편향이 약한 효과이며, 명시적 정규화가 강하게 필요한 과제나 Adam의 좌표별 적응이 유리한 과제에서는 오히려 도움이 되지 않는다고 명시한다.
일부 경우(조정되지 않은 Shampoo, 오래 어닐링한 signum 등)는 엄격한 두 그룹 분류에서 예외로 보고되었고, n=256을 넘는 더 큰 문제 규모에서의 일관성은 별도 부록 결과에 국한되어 있다.
특정 좌표별 방법(예: 조정되지 않은 signSGD)은 학습 예산을 2x10^4 스텝보다 훨씬 늘리면 뒤늦게 비슷한 성능에 도달할 수 있다고 보고되어, '접근 불가'가 아니라 '접근이 느림'에 가깝다는 점이 남아 있다.
GD와 scalar-Adam의 절대 오차 값은 학습률 선택(스텝 크기)에 의해 제한되어 있어, 저자들도 절대값보다는 방법 간 상대적 순위를 결론으로 강조한다.
왜 중요한가
모델 구조나 좌표를 어떻게 표현하느냐는 사소한 구현 디테일처럼 보이지만, 이 연구는 그 선택이 학습이 끝난 뒤 어떤 해(단순한 해인지 복잡한 해인지)에 도달하는지를 실제로 좌우한다는 것을 보여준다. 옵티마이저를 고를 때 학습 손실만 보고 판단하면 놓치는 일반화·해석성 차이가 있을 수 있다는 실용적 함의가 있다.
이 논문의 용어
게이지 대칭성(gauge symmetry) · 모델을 UV^T로 쪼갤 때 U,V에 같은 회전을 가해도 결과와 손실이 변하지 않는 성질
등변성(equivariance) · 옵티마이저의 업데이트가 이 회전 대칭성과 호환되어, 회전된 좌표에서 시작해도 같은 궤적을 그리는 성질
저랭크 편향(low-rank bias) · 과소결정된 문제를 풀 때 굳이 단순한(랭크가 낮은) 해를 선호하는 경향
유효 랭크(effective rank) · 특이값 분포의 엔트로피 기반으로 정의한, 행렬이 실질적으로 얼마나 복잡한지 나타내는 지표
스펙트럴 테일(spectral tail) · 목표 행렬의 에너지 중 저랭크 부분 바깥에 남아 있는 잔여 성분의 비율
