온라인 증류(OPD)는 지금까지 학생 모델보다 뛰어난 선생 모델이 있어야만 가능했다. 이 논문은 학생보다 약한 두 모델의 차이만으로 '능력의 방향'을 뽑아내 학생 자신의 기반 모델에 얹는 W2S-OPD를 제안하고, 수학·코드 벤치마크에서 기존 OPD보다 낫고 때로는 선생 모델 자체를 넘어선다는 결과를 보였다. 저자는 Fangxu Yu이며 코드는 공개 예정이다.
METAL MEDIA 해설 도표
W2S-OPD 구조: 약한 모델 쌍에서 능력 방향 뽑아 학생에게 주입
증거 상태측정 결과가 보고됨
대비쌍 (m+, m-)학생보다 약한 두 모델(예: RL 후/전, 큰/작은 기반 모델, 정답/오답 힌트 조건)에서 로짓을 뽑는다.
능력 방향 추출m+ 로짓에서 m- 로짓을 빼면 두 모델이 공통으로 가진 한계는 지워지고 m+가 더 나은 부분만 남는다.
가짜 선생(proxy teacher) 합성이 방향을 학생 자신의 기반 모델 로짓에 α 강도로 더해, 학생과 가까우면서 능력이 향상된 가짜 선생을 만든다.
학생의 온라인 롤아웃 증류학생이 스스로 만든 답변에 대해 가짜 선생과의 역KL발산을 최소화하도록 학습한다.
결과 확인수학·코드 벤치마크와 도메인 밖 과제(GPQA-Diamond, IFBench)로 기존 OPD와 비교 측정한다.
METAL MEDIA이 원문을 바탕으로 재구성한 해설 도표이며, 논문 저자의 원문 figure가 아닙니다.
무엇을 했나
문제: 기존 온라인 증류(OPD)는 학생과 같거나 더 뛰어난 선생 모델이 필요해, 이미 최상위권 모델에는 적용할 더 강한 선생이 없다는 한계가 있었다.
방법: 상대적으로 강한 모델(m+)과 약한 모델(m-) 한 쌍의 출력 로짓(단어별 점수) 차이를 구해 두 모델이 공통으로 가진 한계는 지우고 '능력 방향'만 남긴 뒤, 이를 학생 자신의 기반 모델에 더해 가짜 선생(proxy teacher)을 만든다.
이 쌍은 세 가지 방식으로 만들 수 있다: RL 학습 전/후 모델 비교, 크기가 다른 두 기반 모델 비교, 정답/오답 힌트를 준 같은 모델 비교.
결과: Qwen3-8B 학생 모델에 Qwen3-4B급 이하 모델들만 재료로 써서, 수학·코드 벤치마크 평균에서 기존 OPD를 능가했고, RL 후 4B 전문가 모델을 활용한 경우엔 학생이 그 선생 모델 자체보다도 높은 점수를 냈다.
추가로, 두 약한 기반 모델 조합만으로도(학습 없이) 학생이 자기 자신보다, 그리고 원본 소스 모델들보다도 나아졌고, 학습 도메인 밖 문제(GPQA-Diamond, IFBench)에서도 능력이 유지되거나 향상됐다.
Figure 1: W2S-OPD improves Qwen3-8B using 4B models as teachers. Accuracy is averaged over 4 math reasoning and 3 code generation benchmarks. (a) With a post-RL Qwen3-4B expert, W2S-OPD beats OPD. (b) From 2 off-the-shelf base models (Qwen3-4B and 0.6B), both weaker than the student and used without training, W2S-OPD still lifts the student above itself and both sources.
Table 1: The three instantiations of the contrast pair in W2S-OPD. All models are from Qwen3 series.
Setting
Positive model m+
Negative model m−
Anchor zbase
Pre-RL / Post-RL
4B-RL (post-RL expert)
4B (pre-RL init)
8B (base)
Smaller / Larger
4B (base)
0.6B (base)
8B (base)
Correct / Wrong Hints
4B w/ correct hint
4B w/ wrong hint
8B (base)
Figure 2: Overview of W2S-OPD. W2S-OPD synthesizes a proxy teacher and distills it into a student. A positive and a negative model form a contrast pair whose logit difference isolates a capability direction. The student πS, initialized from the same base model, generates on-policy rollouts and minimizes the per-token reverse KL toward this proxy teacher. The contrast pair can be instantiated as a post-RL expert against its pre-RL initialization, a larger base model against a smaller one, or a single model conditioned on correct against wrong hints.
Table 2: Results for Pre-RL / Post-RL contrast setting. W2S-OPD beats OPD and even surpasses the 4B-expert on math. Improv. reports the absolute gain over OPD.
Method
Math Reasoning
Code Generation
AIME24
AIME25
HMMT25 (Feb.)
HMMT25 (Nov.)
Avg.
HumanEval+
MBPP+
LCB
Avg.
Neg. Model (4B)
21.6
19.9
10.0
8.2
14.9
79.9
63.6
20.9
54.8
Pos. Model (4B-RL)
62.0
57.9
34.8
40.4
48.8
86.3
71.0
27.1
61.5
Student Base (8B)
26.1
21.1
11.6
9.0
17.0
81.2
70.0
21.7
57.6
Single-Teacher Distillation
SFT
60.2
54.4
30.7
37.6
45.7
82.5
71.8
24.8
59.7
OPD
62.1
54.8
30.6
38.3
46.5
83.1
71.2
22.0
58.7
W2S-OPD
68.9
60.1
35.1
43.1
51.8
84.8
72.4
26.8
60.9
Improv.
+6.8
+5.3
+4.5
+4.8
+5.3
+1.7
+1.2
+5.0
+2.2
Multi-Teacher Distillation
SFT
63.5
54.6
29.6
39.4
46.8
84.0
71.4
25.7
60.4
OPD
64.3
54.9
29.6
37.4
46.5
83.4
69.5
25.6
59.5
W2S-OPD
67.4
61.0
34.7
45.2
52.1
85.2
71.0
27.1
61.1
Improv.
+3.1
+6.1
+5.1
+7.8
+5.6
+1.8
+1.5
+1.5
+1.6
Figure 3: Performance on the math and code benchmarks over training steps. W2S-OPD improves faster and outperforms OPD.
Table 3: Results for contrastive hints setting. W2S-OPD improves the 8B student above its own base with only a single weaker and smaller model. Improv. reports the absolute gain of W2S-OPD over the student base model.
Method
Math Reasoning
Code Generation
AIME24
AIME25
HMMT25 (Feb.)
HMMT25 (Nov.)
Avg.
HumanEval+
MBPP+
LCB
Avg.
Pos./Neg. Model (4B)
21.6
19.9
10.0
8.2
14.9
79.9
63.6
20.9
54.8
Student Base (8B)
26.1
21.1
11.6
9.0
17.0
81.2
70.0
21.7
57.6
W2S-OPD
27.7
23.3
12.0
10.7
18.4
82.5
70.8
22.7
58.7
Improv.
+1.6
+2.2
+0.4
+1.7
+1.4
+1.3
+0.8
+1.0
+1.1
Figure 4: Performance on the math and code benchmarks with different α. OPD is included for reference, denoted by the gray line. W2S-OPD outperforms OPD over a wide range of α.
Table 4: Results for Smaller and Larger contrast setting. W2S-OPD improves the 8B student above its own base even though both source models are weaker than it. Improv. reports the absolute gain of W2S-OPD over the student base model.
Method
Math Reasoning
Code Generation
AIME24
AIME25
HMMT25 (Feb.)
HMMT25 (Nov.)
Avg.
HumanEval+
MBPP+
LCB
Avg.
Neg. Model (0.6B)
1.6
2.3
0.1
2.7
1.7
25.6
26.3
4.6
18.8
Pos. Model (4B)
21.6
19.9
10.0
8.2
14.9
79.9
63.6
20.9
54.8
Student Base (8B)
26.1
21.1
11.6
9.0
17.0
81.2
70.0
21.7
57.6
W2S-OPD
33.1
25.9
13.0
20.1
23.0
81.7
71.1
23.7
58.8
Improv.
+7.0
+4.8
+1.4
+11.1
+6.0
+0.5
+1.1
+2.0
+1.2
Table 5: Results for OOD generalization on GPQA-Diamond and IFBench. Both distillation methods are trained only on the math task, W2S-OPD transfers out of domain and improves general ability, whereas OPD can degrade it below the base. Improv. indicates the absolute gain over OPD.
Method
GPQA-Diamond
IFBench
Positive Model
51.8
26.0
Student Base
38.9
26.3
OPD
54.4
25.9
W2S-OPD
56.5
27.0
Improv.
+2.1
+1.1
Table 6: Distribution of the top-1% highest-Δ tokens over the eight Schoenfeld episodes. The first row gives the distribution of each episodes of all tokens.
Read
Analyze
Plan
Implement
Explore
Verify
Monitor
Answer
All tokens
10.3
33.2
8.6
40.7
0.5
2.4
0.5
3.8
Pre-RL / Post-RL
9.6
40.5
15.7
24.0
1.2
4.3
1.8
2.9
Smaller / Larger
6.5
44.4
12.6
27.7
0.8
4.2
0.9
2.9
Correct / Wrong Hints
5.2
29.8
20.2
19.6
1.1
5.4
2.3
16.4
Table 7: Training hyperparameters of W2S-OPD. Paired entries denote math / code.
Hyperparameter
Value
Algorithm
On-Policy Distillation
Student Model
Qwen3-8B
Positive / Negative
Qwen3-4B-RL / Qwen3-4B
Amplification Coeff. (α)
1.0 / 0.75
Teacher Top-K
32
Max Prompt Length
2048
Max Response Length
16384
Learning Rate
2e-6
LR Scheduler
Constant
Sampling Temp. / Top-p
1.0 / 1.0
Batch Size
64
Training Steps
100
Table 9: On-policy rollout prompts used during OPD training.
Domain
Prompt
Math
{problem}\n Please reason step by step, and put your final answer within \boxed{}.
Code
{problem}\n Write Python code to solve the problem. Present the code in \n‘‘‘python\n Your code\n‘‘‘\n at the end. You need to think first then write the Python code.
Table 10: Average wall-clock time per training step (s) in the pre-RL / post-RL setting; W2S-OPD adds only 20% over OPD.
Method
Training time per step (s)
OPD
868
W2S-OPD
1043
Table 11: Average math reasoning accuracy of W2S-OPD with base-model contrast pairs of different capability gaps. The student is Qwen3-8B.
Contrast Pair
4B−0.6B
4B−1.7B
W2S-OPD
23.0
21.7
Improv. over Student
+6.0
+4.7
실제로 확인된 결과
RL 학습 전/후 모델 대비 설정에서 W2S-OPD는 OPD보다 수학에서 단일 선생 기준 11.4%, 다중 선생 기준 12.0% 상대적으로 높은 성능을 냈고, 수학에서는 학생이 4B 도메인 전문가 모델 자체를 넘어섰다.
크기가 다른 두 기반 모델(Qwen3-4B, 0.6B)만 학습 없이 사용한 설정에서도 W2S-OPD는 학생을 수학 평균 절대 6.0%, 코드 평균 절대 1.2% 끌어올렸다.
정답/오답 힌트를 준 단일 4B 모델 대비만으로도 학생을 수학 평균 절대 1.4%, 코드 평균 절대 1.1% 개선했다.
도메인 밖 평가에서 W2S-OPD는 GPQA-Diamond 점수를 38.9에서 56.5로 올려 OPD보다 절대 2.1% 높았고, IFBench에서는 OPD가 기준선보다 성능이 떨어졌지만 W2S-OPD는 OPD보다 1.1% 더 높은 성능을 유지했다.
학습 단계당 시간 측정에서 W2S-OPD는 3개의 고정 모델을 순전파해야 함에도 OPD보다 단 20% 더 걸렸다.
어디에 쓸 수 있나
이미 공개된 여러 크기의 소형 모델들을 조합해 최상위권 모델을 추가 학습시키는 후처리(post-training) 파이프라인 설계
특정 영역에 강화학습을 적용한 소형 전문가 모델의 지식을 대형 모델로 값싸게 옮기는 작업
정답/오답 힌트처럼 맥락 조건만 바꿔 단일 모델에서 학습 신호를 뽑아내는 데이터 효율적 증류 실험
한계와 남은 검증
실험은 Qwen3 계열 모델(학생 8B, 대비쌍 4B/0.6B/1.7B)로만 검증되어 다른 모델 패밀리·규모에서도 같은 효과가 나는지는 확인되지 않았다.
증폭 계수 α가 너무 작으면 신호가 약하고 너무 크면 성능이 떨어지는 민감한 값이라 최적값 탐색이 필요하다.
평가 벤치마크는 수학·코드·일부 도메인 밖 과제(GPQA-Diamond, IFBench)에 한정되어 있어 다른 실제 응용 영역에서의 효과는 아직 검증되지 않았다.
다중 대비쌍을 결합하는 방식(αk 설정 등)의 대규모 확장성은 추가 탐구가 필요한 사안으로 저자들도 언급했다.
약한 신호로 강한 학생을 얼마나 더 밀어올릴 수 있는지의 한계(포화 지점)는 아직 규명되지 않았다.
왜 중요한가
최상위권 모델은 자신보다 뛰어난 선생 모델이 없어 기존 증류법을 못 쓰는 상황에 놓이는데, 이 방법은 이미 존재하는 더 작고 값싼 모델들의 '차이'만으로 상위 모델을 계속 개선할 길을 보여준다. AI 개발에서 갈수록 커지는 학습 비용 문제를 우회할 실마리가 될 수 있다.
이 논문의 용어
온라인 증류(On-Policy Distillation, OPD) · 학생 모델이 스스로 만든 답변에 대해 선생 모델이 토큰(단어 조각) 단위로 점수를 매겨 가르치는 방식
로짓(logit) · 모델이 다음 단어를 고르기 전에 각 후보 단어에 매기는 점수 값
역KL발산(reverse KL divergence) · 학생의 확률분포가 선생의 확률분포와 얼마나 다른지 재는 척도로, 이를 줄이도록 학생을 학습시킴
GRPO · 강화학습(RL)으로 모델을 특정 영역(수학, 코드 등)에 특화시키는 학습 기법
