AI가 만든 계획을 외부 검증기가 골라주면, 그 결과물만으로도 값싼 모델을 훨씬 똑똑하게 만들 수 있다
arXiv:2608.183242026-08-20
Governance Records as Supervision: Verifier-Selected Self-Training for Structured Workflow Repair
AI가 만든 계획을 외부 검증기가 골라주면, 그 결과물만으로도 값싼 모델을 훨씬 똑똑하게 만들 수 있다
연구자는 AI 모델이 스스로 여러 번 시도해서 만든 계획들 중, 독립적인 외부 검증 프로그램이 통과시킨 것만 골라 학습 데이터로 쓰는 방법을 테스트했다. 정답을 미리 알려주지 않고, 더 강한 선생님 모델도 없이, 같은 모델의 값싼 실행 모드를 훈련시켰더니 성능이 크게 올랐다. PlanBench라는 로봇 블록 쌓기 계획 문제에서, 검증기가 고른 24개 사례로 훈련한 결과 80개 새 문제 중 통과 개수가 1개에서 57개로 늘었다.
METAL MEDIA 해설 도표
AI가 만든 계획을 외부 검증기가 골라주면, 그 결과물만으로도 값싼 모델을 훨씬 똑똑하게 만들 수 있다
01기계가 자동으로 정답 여부를 판정할 수 있는 '블록 쌓기 재계획' 문제에서, Qwen3-14B 모델이 깊이 생각하는 모드로 여러 번 시도해 만든 계획 중 외부 검증기 VAL이 통과시킨 24개만 골라 학습 데이터로 사용했다
02이 데이터로 같은 모델의 빠르고 값싼 실행 모드(생각 안 하는 모드)를 훈련시켰고, 정답을 미리 준 적도 더 뛰어난 선생님 모델을 쓴 적도 없다
03새로운 80개 문제에서 학습 전 1개 통과하던 것이 학습 후 57개로 늘었고, 56개는 개선, 퇴보는 0개였으며, 속도는 깊이 생각하는 모드의 약 56분의 1밖에 걸리지 않았다
04같은 조건에서 후보군, 목표 개수, 학습 방법을 모두 고정한 채 '누가 목표를 골랐는가'만 바꿔봤더니, 외부 검증기가 고른 경우가 모델 스스로 고른 경우보다 33개 사례나 더 많이 통과시켜, 독립적인 검증이 핵심 요인임을 확인했다
05더 강한 추론 모델인 Phi-4-reasoning을 선생님으로 쓴 경우에도 같은 방식이 통했으며, 기본 Phi-4 모델의 통과 개수가 2개에서 51개로 늘었다
METAL MEDIA이 원문을 바탕으로 재구성한 해설 도표이며, 논문 저자의 원문 figure가 아닙니다.
무엇을 했나
기계가 자동으로 정답 여부를 판정할 수 있는 '블록 쌓기 재계획' 문제에서, Qwen3-14B 모델이 깊이 생각하는 모드로 여러 번 시도해 만든 계획 중 외부 검증기 VAL이 통과시킨 24개만 골라 학습 데이터로 사용했다
이 데이터로 같은 모델의 빠르고 값싼 실행 모드(생각 안 하는 모드)를 훈련시켰고, 정답을 미리 준 적도 더 뛰어난 선생님 모델을 쓴 적도 없다
새로운 80개 문제에서 학습 전 1개 통과하던 것이 학습 후 57개로 늘었고, 56개는 개선, 퇴보는 0개였으며, 속도는 깊이 생각하는 모드의 약 56분의 1밖에 걸리지 않았다
같은 조건에서 후보군, 목표 개수, 학습 방법을 모두 고정한 채 '누가 목표를 골랐는가'만 바꿔봤더니, 외부 검증기가 고른 경우가 모델 스스로 고른 경우보다 33개 사례나 더 많이 통과시켜, 독립적인 검증이 핵심 요인임을 확인했다
더 강한 추론 모델인 Phi-4-reasoning을 선생님으로 쓴 경우에도 같은 방식이 통했으며, 기본 Phi-4 모델의 통과 개수가 2개에서 51개로 늘었다
Figure 1: Fresh external outcomes on the shared 80-case PlanBench evaluation. The Qwen path is teacher-free same-checkpoint self-distillation. The Phi path uses a separate stronger reasoning teacher. Exact counts are printed above the bars.
Table 1: The two external paths share the governance-selected pipeline but not the same causal classification.
Path
Target producer
Training recipient
Target provenance
Frozen reading
Qwen
Qwen3-14B thinking
Same checkpoint, non-thinking
No oracle; no stronger teacher
Semantic only
Phi
Phi-4-reasoning
Separate base Phi-4
No oracle; stronger teacher
Full-band distillation
Figure 2: Matched target-selection ablation on 160 fresh PlanBench cases. The left panel shows downstream VAL acceptance for base and three 24-target training arms. The right panel shows that the VAL advantage over blinded model self-selection is positive in both block-count strata.
Table 2: Fresh synthetic one-response repair after training only on model- generated, verifier-selected targets. The two Generator A rows use different case-disjoint evaluation partitions. The later Generator A step does not clear its frozen materiality gate.
Construction and partition
Base
First adapter
Second adapter
Later adapter
Generator A, initial
10/48
21/48
n/a
n/a
Generator A, later
9/48
21/48
33/48
35/48
Generator B, Qwen
12/80
44/80
62/80
n/a
Generator C, Qwen
57/128
128/128
126/128
n/a
Generator B, Phi self-training
10/80
77/80
n/a
n/a
Figure 3: Verified performance versus mean request latency on the external evaluation. Arrows connect the expensive target-producing regime to the cheap trained specialist. The source-versus-specialist semantic comparisons are descriptive compression diagnostics, not preregistered superiority tests.
Table 3: Formal Qwen target acquisition on the fresh harvest partition.
Harvest measure
Observed
Frozen gate
Distinct VAL-admitted targets
24/32
at least 16
First-attempt successes
13/32
reported
Successes within eight attempts
24/32
reported
Beyond-first-attempt headroom
11
at least 8
Completed HTTP requests
118/118
at least 98%
Completion tokens
419,201
at most 2,500,000
A100 time
0.649 h
at most 6 h
Figure 4: Qwen self-sourced one-response learning across three synthetic constructions. Generator C’s high base rate and first-round saturation limit its evidence about iteration.
Table 4: Fresh Qwen evaluation on the external 80-case partition. Token counts are totals across each arm.
Qwen arm
VAL accepted
Schema-valid
Mean latency
Completion tokens
Base, non-thinking
1/80
71/80
0.624 s
1,729
Base, thinking
30/80
77/80
65.964 s
254,960
Self-24, non-thinking
57/80
80/80
1.186 s
2,965
Figure 5: First-attempt and 32-attempt success on matched pools. Panels use different case sets and are not pooled. Training expands fixed-budget reachability through Default30 on Generator A and Round 1 on Generator B; Generator C saturates the frozen frontier after Round 1.
Table 5: Matched target sets and training outcomes. Only target selection changes across arms.
Selector
VAL-valid targets
Train time
Final loss
VAL
24/24
64.1 s
0.3545
Qwen self-selection
20/24
64.2 s
0.3905
Schema-only frozen order
15/24
64.0 s
0.5077
Figure 6: Zero-shot transfer from Generator A adapters to Generator B. Default30 passes the aggregate gate but crosses the frozen family-regression guard. Round3 is a predeclared secondary trajectory arm and cannot replace the primary treatment after results are opened.
Table 6: Fresh outcomes for the matched target-selection ablation.
Evaluation arm
VAL accepted
Schema-valid
Mean latency
Base, non-thinking
1/160
129/160
1.395 s
Schema-selected adapter
55/160
152/160
1.410 s
Model-self-selected adapter
69/160
159/160
1.385 s
VAL-selected adapter
102/160
160/160
1.202 s
Table 7: Fresh Phi evaluation on the same external 80-case partition. Token counts are totals across each arm.
Phi arm
VAL accepted
Schema-valid
Mean latency
Completion tokens
Base Phi-4
2/80
35/80
1.027 s
3,362
Phi-4-reasoning
30/80
41/80
150.283 s
544,408
Distilled Phi-4
51/80
80/80
0.981 s
2,531
Table 8: Synthetic evidence map. All evaluation partitions are case-disjoint from their training targets. Generator separation is by implementation, not by independent authorship.
Stage
Model
Training-target source
Fresh evaluation
Evidentiary role
Oracle precursor
Phi-4, Qwen3-14B
Procedural schedule, verifier-confirmed
144 rows per model
Teachability and signal attribution
Generator A
Qwen3-14B
Same-model accepted samples
48-row one-response and 32-row search pools
Bounded loop, cumulative learning, stopping
Generator B
Qwen3-14B
Same-model accepted samples
80-row one-response and 32-row search pools
Native construction replication and transfer boundary
Generator C
Qwen3-14B
Same-model accepted samples
128-row one-response and 32-row search pools
Construction-separated first-round replication
Generator B
Phi-4
Same-model accepted samples
80-row one-response and 32-row search pools
Cross-model method replication
Table 9: Qwen training and inference feedback cross. The primary causal comparison fixes localized inference and changes only the training trace.
Training state
Inference feedback
Pass
Transport
Compound
Base
Localized
31/144
128/144
5/48
Localized-trained
Localized
139/144
144/144
45/48
Base
Verdict-only
35/144
135/144
9/48
Localized-trained
Verdict-only
115/144
144/144
33/48
Verdict-only-trained
Localized
133/144
144/144
41/48
Verdict-only-trained
Verdict-only
136/144
144/144
44/48
Table 10: Target-hidden search attribution. “Later” counts targets first accepted after at least one verifier rejection.
Search condition
Accepted
Pass@1
Later
Calls
Transport
Fixed generic
12/32
8/32
4
678
678/678
Fixed localized
16/32
10/32
6
591
590/591
Adaptive localized
16/32
11/32
5
539
539/539
Table 11: Fresh one-response transitions from verifier-selected self-training. The Generator A rows use separate case-disjoint partitions. Generator C Round 1 reaches 128/128; its final Round 2 arm reaches 126/128 and does not improve on the saturated first-round measurement.
Construction and model
Earlier arm
Later arm
Paired reading
A, Qwen initial
Base 10/48
Self-16 21/48
14 gains, 3 losses, p=0.012726
A, Qwen Round 2
Self-16 25/48
Default30 35/48
Net +10, p=0.021271
A, Qwen Round 3
Default30 33/48
Round3 35/48
3 gains, 1 loss, p=0.625; stop
B, Qwen Round 1
Base 12/80
B-Round1 44/80
Net +32, p=4.07×10−9
B, Qwen Round 2
B-Round1 44/80
B-Round2 62/80
Net +18, p=4.01×10−5
C, Qwen final
Base 57/128
C-Round2 126/128
69 gains, 0 losses, p=3.388×10−21
B, Phi round
Base 10/80
Self-sourced LoRA 77/80
67 gains, 0 losses, p=1.3553×10−20
왜 중요한가
기업이나 개발자가 값비싼 대형 추론 모델을 매번 돌리지 않고도, 검증 가능한 업무(계획 수립, 규정 준수 등)에서 저렴한 모델을 안정적으로 활용할 수 있는 길을 보여준다. 다만 이 방법은 정답 여부를 기계가 명확히 판정할 수 있는 좁은 범위의 작업에서만 검증되었고, 임의의 계획 능력이나 실제 기업 업무 전반에 대한 보장은 아니다.
이 논문의 용어
검증기(Verifier) · 모델이 만든 결과물이 규칙을 지켰는지 기계적으로 판정하는 프로그램
VAL · PlanBench 계획 문제의 정답 여부를 검사하는, 이 연구와 무관하게 만들어진 외부 검증 도구
LoRA(저랭크 적응) · 모델 전체를 다시 훈련하지 않고 작은 추가 모듈만 학습시켜 적은 자원으로 성능을 바꾸는 기법
자기 증류(self-distillation) · 같은 모델의 한 실행 모드가 만든 결과로 그 모델의 다른(더 값싼) 실행 모드를 훈련시키는 방식
