AI가 언어마다 답 실력이 다른 문제를, 그 AI의 약점을 스스로 찾아 문제를 만들게 해서 고친다
arXiv:2608.159642026-08-15
LLMs Get Smarter from Targeted Synthetic Multilingual Data
AI가 언어마다 답 실력이 다른 문제를, 그 AI의 약점을 스스로 찾아 문제를 만들게 해서 고친다
같은 질문이라도 영어로 물으면 잘 맞히고 스페인어나 아랍어로 물으면 틀리는 언어별 실력 차이(LSC)가 대형언어모델(LLM)에 존재한다. 연구팀은 HOTFIXR라는 데이터 생성 방법을 만들어, 학생 모델의 약점을 찾아내는 질문을 자동으로 만들고 그걸로 다시 학습시켰다. 그 결과 원래 훈련한 과제에서 6.2%, 다른 과제·다른 언어에서도 성능 저하를 3.7~7.1%만큼 줄이는 효과를 얻었다.
METAL MEDIA 해설 도표
AI가 언어마다 답 실력이 다른 문제를, 그 AI의 약점을 스스로 찾아 문제를 만들게 해서 고친다
01언어모델은 같은 뜻의 질문이라도 프롬프트 언어에 따라 답의 정확도가 달라진다. 이는 모델 내부에서 언어별로 의미를 다르게 표현하기 때문으로 알려져 있다.
02기존 해법은 모든 질문을 영어로 바꿔 처리하거나(영어 실력에 의존), 여러 언어 데이터를 균등하게 학습시키는(전체 성능이 떨어짐) 두 가지뿐이었다.
03HOTFIXR은 '질문 생성 모델'을 훈련시켜, 대상 모델(학생 모델)이 헷갈려하거나 언어별로 답이 어긋나는 지점을 찾아내는 질문을 만들도록 한다. 이때 강화학습 기법인 GRPO를 사용해 질문 생성 모델을 최적화한다.
04학생 모델이 얼마나 확신 없이 답하는지(언어 무관 약점)와, 영어로 추론할 때와 다른 언어로 추론할 때 내부 표현이 얼마나 다른지(언어별 약점)를 점수로 매겨 보상으로 활용한다.
05영어·프랑스어·스페인어·아랍어·포르투갈어·이탈리아어로 훈련한 모델을, 훈련에 없던 독일어·일본어·러시아어·중국어에도 테스트했고, 기존 방법들보다 일관되게 더 나은 성능과 더 적은 성능 저하를 보였다.
METAL MEDIA이 원문을 바탕으로 재구성한 해설 도표이며, 논문 저자의 원문 figure가 아닙니다.
무엇을 했나
언어모델은 같은 뜻의 질문이라도 프롬프트 언어에 따라 답의 정확도가 달라진다. 이는 모델 내부에서 언어별로 의미를 다르게 표현하기 때문으로 알려져 있다.
기존 해법은 모든 질문을 영어로 바꿔 처리하거나(영어 실력에 의존), 여러 언어 데이터를 균등하게 학습시키는(전체 성능이 떨어짐) 두 가지뿐이었다.
HOTFIXR은 '질문 생성 모델'을 훈련시켜, 대상 모델(학생 모델)이 헷갈려하거나 언어별로 답이 어긋나는 지점을 찾아내는 질문을 만들도록 한다. 이때 강화학습 기법인 GRPO를 사용해 질문 생성 모델을 최적화한다.
학생 모델이 얼마나 확신 없이 답하는지(언어 무관 약점)와, 영어로 추론할 때와 다른 언어로 추론할 때 내부 표현이 얼마나 다른지(언어별 약점)를 점수로 매겨 보상으로 활용한다.
영어·프랑스어·스페인어·아랍어·포르투갈어·이탈리아어로 훈련한 모델을, 훈련에 없던 독일어·일본어·러시아어·중국어에도 테스트했고, 기존 방법들보다 일관되게 더 나은 성능과 더 적은 성능 저하를 보였다.
Figure 1: Motivating results for LSC: the performance of Aya (with a more language-balanced pretraining dataset) versus Qwen (with a more English-dominant pretraining dataset) on multilingual HotPotQA (11). We see that although Aya performs more consistently across languages, Aya degrades in performance (see Qwen’s performance in English).
Table 1: HOTFIXR has the best in-distribution performance, the best out-of-distribution performance among the training-based baselines, and remains multilingually consistent. This table shows the cross-lingual consistency with respect to ID and OOD performance. Language spread is the standard deviation of performance across languages. Low spread indicates more consistent performance across languages. Note: the training-based baselines are SelectionGT, SelectionGEN, Filtered, Untrained, and DataEnvGym.
Performance
Language
Method
ID (↑)
OOD (↑)
Spread (↓)
Base
51.9
65.6
9.6
EngReason
50.8
65.4
8.8
SelectionGT
49.2
60.9
9.8
SelectionGEN
50.2
55.8
9.5
Filtered
48.9
58.2
10.6
Untrained
50.4
63.4
9.7
DataEnvGym
49.0
57.4
10.2
HOTFIXR (ours)
56.2
64.7
9.4
Figure 2: Intuition behind HOTFIXR. The “data space” represents the data samples generated by the question generator. Essentially, we want to hill climb through the data space to find samples that have high lingual deficit scores, as they will be most informative to the student model. By fine-tuning the question generation model to generate samples according to the student model’s lingual deficit, we can improve the information embedded within data, improving our models on downstream tasks.
Table 2: Average performance difference of HOTFIXR versus each baseline. The average is over nine settings: three students (Qwen 7B, Qwen 14B, Llama 8B) × three ID/OOD tasks. “Wins” counts the number of settings where HOTFIXR scores higher.
In-Distribution
Out-of-Distribution
Baseline
Δ
Wins
Δ
Wins
Base
+4.3
9/9
-0.9
3/9
EngReason
+5.4
9/9
-0.7
4/9
SelectionGT
+7.0
9/9
+3.8
9/9
SelectionGEN
+6.0
9/9
+8.9
8/9
Filtered
+7.3
9/9
+6.6
8/9
Untrained
+5.8
9/9
+1.4
7/9
DataEnvGym
+7.1
9/9
+7.3
9/9
Average
+6.2
9/9
+3.7
7/9
Figure 3: An illustration of how to train the question generation model in HOTFIXR, along with the reward design.
Table 3: OOD language generalization: performance differences relative to the Base model, averaged across all models and corresponding tasks. Averaging the difference in HOTFIXR and other methods, we can compute how much HOTFIXR avoids catastrophic forgetting. For example, averaged across all languages, HOTFIXR avoids catastrophic forgetting by 8.7% compared to DataEnvGym (10.1-1.4).
Method
De
Ja
Ru
Zh
Avg
SelectionGT
-3.3
-4.7
-9.5
-10.5
-7.0
SelectionGEN
-1.9
-4.0
-22.5
-21.5
-12.5
Filtered
-3.8
-4.8
-14.7
-16.3
-9.9
Untrained
-2.9
-2.0
-2.3
-5.3
-3.1
DataEnvGym
-6.8
-6.0
-12.2
-15.4
-10.1
HOTFIXR
-2.6
-0.7
-0.9
-1.3
-1.4
Figure 4: Performance of data curation methods in-distribution.
Table 4: Cross-lingual spread of student performance, averaged over three student models (Qwen2.5-7B, Qwen2.5-14B, Llama-3.1-8B) and three multilingual tasks (OPUS, MMMLU, mHotpotQA) evaluated with each task’s primary metric. Lower is more consistent for all dispersion columns; Bold marks the best value among data-generation methods. Range is the max − min performance across all languages. Trimmed Range is the best minus the 2nd worst language accuracy. Std is standard deviation of the performance. IQR is the Inter-Quartile Range (difference in the 25% and 75% quartile). CV is the coeffiecient of variation (the standard devation divided by the mean).
Method
Range
Trim. Range
Trim.
Range
Std
IQR
CV
Trim.
Range
Base
20.2
16.0
7.2
9.6
0.12
EngReason
20.7
15.4
7.2
8.8
0.12
SelectionGT
22.3
17.1
7.9
9.8
0.13
SelectionGEN
18.8
14.9
6.9
9.5
0.13
Filtered
22.6
17.1
8.0
10.6
0.14
Untrained
20.1
15.0
7.1
9.7
0.12
DataEnvGym
22.8
17.0
8.0
10.2
0.14
HOTFIXR
19.4
14.6
6.9
9.4
0.11
Figure 5: Performance of data curation methods for factual (MMMLU) queries, an out-of-distribution task.
Table 5: Reward-signal ablation. All rows include the format reward. “Nemo.” is Nemotron, “Trans.” is Translation, “Fact.” is Factual. Highlights the impact each reward has—there is more effect of the reward functions combined, than individually. LAI is the “Language Agnostic Incompetency” and LSI is the “Language Specific Incompetency”, as described in Section 3.
ID
OOD
Model
Config
Nemo.
Trans.
Fact.
RAG
Qwen 7B
Format
52.0
57.6
64.0
75.8
+ LAI
50.9
57.9
64.3
77.2
+ LSI
50.8
57.8
63.6
77.7
+ LAI + LSI
57.8
59.1
64.3
76.7
Llama 8B
Format
48.2
57.8
49.9
70.2
+ LAI
48.5
57.2
49.2
69.2
+ LSI
47.5
57.5
49.3
67.8
+ LAI + LSI
52.5
58.9
49.3
69.7
Qwen 14B
Format
49.3
58.0
71.5
79.8
+ LAI
50.9
58.6
66.3
76.0
+ LSI
48.8
57.2
62.3
76.8
+ LAI + LSI
58.3
58.2
67.9
78.3
Figure 6: Performance of data curation methods for RAG (multilingual HotPotQA) queries, an out-of-distribution task.
Table 6: Minimum and maximum standard deviation (across 3 runs) for the Nemotron task (STEM, MATH, and CHAT), per model and method. This explains the small error bars in Figure 8.
Qwen 7B
Qwen 14B
Llama 8B
Method
min
max
min
max
min
max
Base
0.30
1.50
0.10
0.40
0.20
2.00
EngReason
0.25
1.23
0.16
0.75
0.34
1.00
SelectionGT
0.20
3.40
0.10
1.00
0.40
2.20
SelectionGEN
0.30
3.10
0.00
0.90
0.10
2.20
Filtered
0.70
0.90
0.30
0.80
0.30
1.70
Untrained
0.40
1.90
0.00
1.50
0.30
0.70
DataEnvGym
0.40
1.20
0.10
0.70
0.20
1.70
HOTFIXR
0.10
0.90
0.20
0.40
0.05
0.50
Figure 7: Performance of data curation methods for translation (OPUS-100) queries, an out-of-distribution task.
Table 7: Minimum and maximum standard deviation (across 3 runs) for the Translation task (OPUS-100), per model and method. This explains the small error bars in Figure 10.
Qwen 7B
Qwen 14B
Llama 8B
Method
min
max
min
max
min
max
Base
0.43
0.85
0.41
1.55
0.58
1.56
EngReason
0.40
0.83
0.43
1.05
0.55
1.56
SelectionGT
0.10
1.40
0.20
1.00
0.40
1.60
SelectionGEN
0.00
0.80
0.00
1.50
0.10
1.50
Filtered
0.10
1.60
0.10
0.80
0.10
1.60
Untrained
0.20
0.50
0.00
0.70
0.30
1.70
DataEnvGym
0.00
1.10
0.20
0.70
0.20
0.80
HOTFIXR
0.00
0.90
0.00
0.80
0.20
1.10
Figure 8: Performance of data curation methods for Nemotron queries, per task.
Table 8: Minimum and maximum standard deviation (across 3 runs) for the Factual task (MMMLU), per model and method. This explains the small error bars in Figure 9.
Qwen 7B
Qwen 14B
Llama 8B
Method
min
max
min
max
min
max
Base
0.10
1.50
0.10
1.10
0.00
2.30
EngReason
0.09
1.27
0.28
1.09
0.33
1.73
SelectionGT
0.30
2.30
0.20
1.80
0.10
1.60
SelectionGEN
0.40
2.60
0.10
1.80
0.10
2.30
Filtered
0.10
1.30
0.20
1.20
0.00
1.20
Untrained
0.30
1.00
0.10
1.00
0.20
2.20
DataEnvGym
0.30
2.40
0.10
1.40
0.10
1.20
HOTFIXR
0.30
1.40
0.30
1.30
0.30
2.60
Figure 9: Performance of data curation methods for factual (MMMLU) queries, per language.
Table 9: Minimum and maximum standard deviation (across 3 runs) for the RAG task (mHotPotQA), per model and method. This explains the small error bars in Figure 11.
Qwen 7B
Qwen 14B
Llama 8B
Method
min
max
min
max
min
max
Base
0.10
0.90
0.10
0.80
0.80
2.50
EngReason
0.33
0.99
0.16
1.05
0.53
1.71
SelectionGT
0.30
1.20
0.10
0.80
0.30
1.80
SelectionGEN
0.80
1.40
0.30
1.50
0.00
2.50
Filtered
0.10
1.10
0.40
1.50
0.00
1.30
Untrained
0.20
1.10
0.30
1.10
0.10
1.30
DataEnvGym
0.20
1.40
0.30
0.60
0.30
1.20
HOTFIXR
0.00
0.60
0.20
1.50
0.00
1.40
Figure 10: Performance of data curation methods for translation (OPUS-100) queries, per language.
Table 10: Average performance per model, with the added Distillation method. Here, we are able to show that a lot of HOTFIXR’s empirical success comes from the targeted question generation, rather than having correct, distilled labels from a large model.
Method
Nemotron
Factual
Translation
RAG
Qwen2.5-7B-Instruct
Base
52.3
67.0
59.2
79.0
EngReason
51.2
68.2
59.0
79.3
SelectionGT
48.5
63.9
53.8
61.5
SelectionGEN
50.3
59.9
56.8
41.4
Filtered
48.6
61.7
56.6
66.5
mCOT
47.9
55.3
54.4
53.8
Untrained
51.2
59.2
57.1
72.3
DataEnvGym
49.3
46.2
56.9
47.5
Distillation (32B)
49.6
64.7
58.9
77.3
HOTFIXR
57.8
64.3
59.1
76.7
Qwen2.5-14B-Instruct
Base
55.2
73.7
59.4
79.9
EngReason
54.1
73.0
59.5
81.0
SelectionGT
51.4
67.3
54.2
73.8
SelectionGEN
52.1
70.3
57.4
42.8
Filtered
50.9
59.1
59.1
45.5
Untrained
52.1
71.0
57.9
77.5
DataEnvGym
50.3
62.6
57.4
70.4
Distillation (32B)
53.3
69.5
59.0
78.4
HOTFIXR
58.3
67.9
58.2
78.3
Llama-3.1-8B-Instruct
Base
48.1
48.5
56.3
67.7
EngReason
47.0
47.3
56.4
65.2
SelectionGT
47.6
48.8
57.6
67.2
SelectionGEN
48.1
48.6
57.6
67.2
Filtered
47.2
48.8
57.7
68.4
Untrained
47.7
49.5
57.1
68.6
DataEnvGym
47.6
48.8
57.5
69.1
Distillation (32B)
47.7
51.1
58.0
70.3
Figure 11: Performance of data curation methods for RAG (multilingual HotPotQA) queries, per language.
왜 중요한가
많은 실제 서비스는 영어 외 언어로도 안정적으로 작동하는 AI를 필요로 하는데, 이 연구는 값비싼 사전학습을 새로 하지 않고도 이미 만들어진 모델의 다국어 성능을 개선할 수 있는 실용적 방법을 보여준다. 특정 언어에서만 성능이 떨어지는 문제를 겪는 서비스 개발자에게 데이터 제작 단계에서 취할 수 있는 구체적 전략을 제시한다.
Figure 12: The delta in performance of student models trained with two rounds of HOTFIXR versus one round. The improvement with two rounds is much more than the improvement with one round.
이 논문의 용어
LLM(대형언어모델) · 방대한 텍스트로 학습되어 대화·질문응답 등을 수행하는 AI 모델
언어별 실력 차이(LSC) · 같은 의미의 질문이라도 프롬프트 언어에 따라 모델의 정답률이 달라지는 현상
학생 모델 · HOTFIXR이 만든 데이터를 학습해 실제로 개선 대상이 되는 언어모델
GRPO · 질문 생성 모델을 보상 신호에 맞춰 최적화하는 강화학습 알고리즘
OOD(분포 밖) 과제/언어 · 훈련 때 다루지 않은 새로운 종류의 문제나 언어로, 모델이 얼마나 잘 일반화하는지 확인하는 데 쓰인다
