해석 가능성을 사후 분석이 아니라 학습 과정 자체에 설계해 넣어도, 모델 성능이 떨어지지 않고 오히려 규모가 커질수록 더 이해하기 쉬워진다는 연구
arXiv:2608.075942026-08-05
Scaling Inherently Interpretable Language Models
해석 가능성을 사후 분석이 아니라 학습 과정 자체에 설계해 넣어도, 모델 성능이 떨어지지 않고 오히려 규모가 커질수록 더 이해하기 쉬워진다는 연구
이 연구는 언어모델을 다 훈련시킨 뒤 나중에 뜯어보는 방식(사후 해석) 대신, 처음부터 '왜 이런 출력이 나왔는지 설명 가능해야 한다'는 조건을 학습 목표에 함께 넣는 방법을 제안한다. 이를 위해 3만 3천여 개 개념 라이브러리 Atlas를 구축하고, 이를 내장한 확산 언어모델 Steerling-8B를 만들어 세 자릿수 규모의 컴퓨팅 스케일에서 실험했다. 그 결과 해석 가능성 관련 지표들이 모델이 커질수록 오히려 좋아졌고, Steerling-8B는 2~16배 더 많은 컴퓨팅으로 훈련된 동급 공개 모델들과 비교해 평균 성능의 약 10% 이내 차이로 근접했다.
METAL MEDIA 해설 도표
해석 가능성을 학습에 내장하는 구조
증거 상태측정 결과가 보고됨
Atlas 파이프라인문서를 청크로 나눠 태그를 붙이고(1단계), 태그를 군집화해 3만 3732개 표준 개념으로 정리하고(2단계), 대규모 텍스트에 자동으로 개념을 붙이는 주석 모델을 학습한다(3단계).
개념 병목 구조확산 언어모델 Steerling-8B의 트랜스포머와 출력층 사이에 덧셈식 개념 병목층을 넣어, 출력 로짓을 알려진 개념·미지의 개념·잔차로 정확히 분해한다.
세 가지 귀속입력 토큰 귀속(무엇이 영향을 줬나), 개념 귀속(어떤 개념이 기여했나), 학습 데이터 귀속(어떤 학습 예시와 닮았나)을 각각 계산한다.
스케일링 실험세 자릿수 규모의 컴퓨팅에 걸쳐 자기회귀·확산·개념모듈 포함/미포함 네 가지 모델군을 비교해, 성능 손실은 고정된 작은 오프셋에 그치고 해석 가능성 지표는 규모가 커질수록 개선됨을 확인한다.
개입(steering)학습된 개념 임베딩 방향을 은닉 상태에 더하거나 빼서, 재훈련 없이 생성 결과를 특정 개념 쪽으로 증폭하거나 억제한다.
METAL MEDIA이 원문을 바탕으로 재구성한 해설 도표이며, 논문 저자의 원문 figure가 아닙니다.
무엇을 했나
기존 해석 가능성 연구는 모델을 다 훈련시킨 뒤 프로브, 특징 귀속, 스파스 오토인코더 같은 도구로 사후 분석했는데, 이 논문은 이런 방식이 '모델이 실제로 그 정보를 사용한다'는 것을 보장하지 못한다고 지적한다.
대신 데이터 준비, 아키텍처, 손실 함수 설계 단계마다 해석 가능성 조건을 넣는 '레시피'를 제시하고, 입력 토큰 귀속, 개념 귀속, 학습 데이터 귀속이라는 세 가지 설명 축을 정의했다.
1백만 개 이상 문서에서 태그를 뽑고 군집화해 3만 3732개의 표준 개념으로 정리한 Atlas 파이프라인을 만들었고, 이를 이용해 1조 토큰 이상을 주석 처리했다.
블록 단위 인과적 어텐션을 쓰는 확산 언어모델 Steerling-8B에 덧셈식 개념 병목층을 넣어, 출력을 개념별로 정확히 분해할 수 있게 설계했다.
세 자릿수 규모의 컴퓨팅에 걸친 스케일링 실험(IsoFLOP)에서, 개념 모듈을 추가해도 성능 저하는 작고 고정된 수준에 머물렀으며, 해석 가능성 지표는 오히려 모델 규모가 커질수록 개선됐다.
Table 1: Transformer and language-model notation.
\topruleSymbol
Meaning
\midrule𝐱=(x1,…,xN)
Input token sequence of length N
xi
Token at position i
V
Vocabulary
Txi∈ℝd
Learned embedding of token xi
d
Hidden dimension
L
Number of transformer layers
h∈ℝd
Transformer hidden state at a given position
W∈ℝ|V|×d
Language modeling head
Wy
Row of W corresponding to token y
ℓy=h⊤Wy
Logit for output token y
pθ
Model with parameters θ
𝐱<i
Sub-sequence of tokens before position i
ℒ\textAR
Autoregressive training loss
\midrule𝐱t
Corrupted sequence at noise level t
t∈[0,1]
Noise level
M(𝐱t)
Set of masked positions in 𝐱t
ℒ\textMDM
Masked diffusion training loss
\bottomrule
Figure 1: The recipe for training an interpretable model.
Table 2: Removing any single recipe modification breaks a specific condition of Definition 3.3.
\topruleRemove…
Condition broken
Consequence
\midruleConcept annotations
Interpretation (4)
No semantic targets
Bottleneck architecture
Nativeness (1), Agreement (2)
ϕc(y) not computable
Trained absence baseline
Validity (3)
Input-attribution baselines OOD
Interpretability losses
Coverage (5), Interpretation (4)
Residual absorbs capacity
\bottomrule
Figure 3: Overview of the Atlas three-stage annotation pipeline: documents are chunked and tagged (Stage 1), tags are clustered and canonicalized into a concept library (Stage 2), and a concept annotator model is trained for scalable text annotation (Stage 3).
Table 4: Phase 2 blind fit scores by candidate type. Human annotators rated how well each candidate name fit the same lifted-word evidence. Counts sum to 1,025 individual ratings.
\toprulecandidate type
mean fit (1–5)
sd
n
\midruleLLM (Atlas) label
3.98
1.04
205
human label
3.50
1.17
402
embedding distractor
2.72
1.30
205
taxonomy distractor
2.08
1.11
205
filler (floor)
1.62
1.06
008
\bottomrule
Figure 5: Stage 1 tag validation scores. Distributions of average tag-relevance ratings on a 1–5 scale: per-chunk averages (left column; each chunk’s tag ratings averaged) and per-tag averages (right column; each unique tag’s ratings averaged over the chunks it appears in), as rated by the LLM judge over 2.93M sampled chunks (top row) and by three human annotators on a 50-chunk sample (bottom row).
Table 5: Interpretability metrics. ↑ or ↓ indicates the direction of better performance.
\topruleMetric
Direction
What it measures
\midruleConcept Loss
↓
Does the concept module detect the right concepts?
Concept Independence Loss
↓
Are known and unknown heads disentangled?
Concept Contribution
↑
Do predictions route through the concept module?
Known Concept Alignment
↑
Do concept embeddings point at related tokens?
\bottomrule
Figure 6: Comparison of all-mpnet-base-v2 and Qwen3-Embedding-0.6B embeddings for clustering ∼14M LLM-generated tag annotations via the k-means clustering algorithm. We evaluate Silhouette score (left plot), Davies–Bouldin index (middle plot), and coherence score (right plot) on randomly sampled cluster members. As k increases, all-mpnet-base-v2 consistently yields more coherent clusters than Qwen3-Embedding-0.6B.
Table 6: Compute-optimal scaling exponents and irreducible-loss asymptotes. Subscripts are 90% bootstrap confidence intervals.
\topruleModel
αP
αD
αL
ℒ∞
\midrule Ours (Autoregressive)
AR
0.528[−0.025,+0.023]
0.445[−0.036,+0.114]
−0.060[−0.002,+0.002]
1.857[−0.335,+0.071]
AR+Concept
0.621[−0.041,+0.077]
0.524[−0.112,+0.108]
−0.070[−0.002,+0.003]
1.193[−0.703,+0.394]
\midrule Ours (Causal Diffusion)
CDLM
0.632[−0.091,+0.075]
0.481[−0.111,+0.162]
−0.053[−0.004,+0.004]
2.658[−0.708,+0.181]
CDLM+Concept
0.503[−0.046,+0.051]
0.374[−0.170,+0.174]
−0.072[−0.003,+0.003]
1.942[−1.805,+0.529]
\midrule Masked diffusion (prior)
96
0.514
0.486
—
2.41
146
0.566[−0.022,+0.019]
0.434[−0.019,+0.020]
−0.0496[−0.0004,+0.0003]
—
\midrule Autoregressive (prior)
54
0.490
0.510
—
1.69
124
0.464
0.536
—
—
18
0.524
0.476
—
—
\bottomrule
Figure 7: Stage-2 transformation of noisy LLM tags into a canonical concept: raw tags are embedded and clustered, incoherent clusters are filtered out, each surviving cluster is labeled into a single concept (name with italic description), and semantically adjacent concepts are merged by cosine similarity into one canonical entry.
Table 7: Interpretability scaling fits. Subscripts on e are 90% bootstrap confidence intervals. The 8B columns compare the small-scale extrapolation against the actual Steerling values.
\topruleFamily
β
e [90% CI]
R2
8B pred
8B actual
Δ
\midrule Concept Loss
AR+Concept
0.385
0.002[−0.002,+0.000]
0.704
0.002
—
—
CDLM+Concept
0.054
0.000[−0.000,+0.002]
0.648
0.002
0.002
+0.000
\midrule Concept Independence Loss
AR+Concept
0.279
1.310[−1.310,+0.000]
0.505
1.550
—
—
CDLM+Concept
0.217
0.000[−0.000,+3.687]
0.749
2.157
1.550
−0.611
\midrule Concept Contribution
AR+Concept
0.212
0.937[−0.047,+0.063]
0.630
0.915
—
—
CDLM+Concept
0.134
1.000[−0.149,+0.000]
0.496
0.915
0.876
−0.039
\midrule Known Concept Alignment
AR+Concept
0.099
5.000[−1.190,+0.000]
0.557
4.200
—
—
CDLM+Concept
0.349
3.920[−0.135,+1.080]
0.637
3.870
3.770
−0.100
\bottomrule
Figure 8: UMAP projection of a subsample of concept embeddings across five taxonomy groups. The cards showcase representative concepts from distinct regions of the embedding space to illustrate local semantic clusters.
Table 8: Joint interpretability scaling fits, m(P,D)=e±(APP−α+ADD−β), with α the parameter exponent and β the token exponent. Subscripts on e are 90% bootstrap confidence intervals. The 8B columns compare the small-scale extrapolation against the actual Steerling values.
\topruleFamily
α
β
e [90% CI]
R2
8B pred
8B actual
Δ
\midrule Concept Loss
AR+Concept
0.093
0.767
0.000[−0.000,+0.001]
0.945
—
—
—
CDLM+Concept
0.427
1.255
0.002[−0.000,+0.000]
0.893
0.002
0.002
+0.000
\midrule Concept Independence Loss
AR+Concept
1.085
0.529
1.347[−1.347,+0.745]
0.624
—
—
—
CDLM+Concept
0.904
0.659
0.000[−0.000,+1.908]
0.937
0.624
1.550
+0.921
\midrule Concept Contribution
AR+Concept
0.541
0.739
0.903[−0.028,+0.097]
0.784
—
—
—
CDLM+Concept
0.441
2.077
0.864[−0.012,+0.018]
0.883
0.844
0.876
+0.032
\midrule Known Concept Alignment
AR+Concept
2.660
0.154
4.640[−0.363,+0.360]
0.926
—
—
—
CDLM+Concept
0.022
0.346
5.000[−1.125,+0.000]
0.933
3.967
3.770
−0.194
\bottomrule
Figure 9: Stage 2 concept validation scores. Distributions of average concept-relevance ratings on a 1–5 scale: per-chunk averages (left column) and per-concept averages (right column; each concept’s ratings averaged over the chunks it is assigned to), as rated by the LLM judge over 2.93M chunks (top row) and by human annotators on a 50-chunk sample (bottom row).
Table 9: Steerling-8B pretraining corpus. Token counts are post-tokenization.
\topruleSource
Documents
Chunks
Tokens
\midruleNemotron-CC-HQ (real)
740M
5.1B
547B
Nemotron-CC-HQ (synthetic)
971M
4.8B
498B
peS2o
38.8M
565.4M
59B
arXiv
3.9M
142.2M
20.4B
Wikipedia & Wikibooks
6.1M
36.8M
3.8B
OpenWebMath
2.9M
76.8M
12.1B
Algebraic Stack
2.8M
65.6M
12.1B
StarCoder
78.6M
317M
91.4B
\midruleTotal
1.84B
11.1B
1.24T
\bottomrule
Figure 10: Stage 3 annotator validation on held-out chunks. Distributions of average predicted-concept relevance ratings from the LLM judge: per-chunk averages (left) and per-concept averages (right).
Table 10: Steering results on random concepts of the pretrained Steerling-8B. Steered denotes layer injection.
\topruleMethod
Concept ↑
Quality ↑
Harmonic ↑
\midruleUnsteered
0.033
1.108
0.065
Prompting
0.908
1.588
1.156
Steered
1.072
0.972
1.020
\bottomrule
Figure 11: Schematic of the LCC-derived taxonomy used to organize the Atlas concept library. The 33,732 canonical concepts are mapped onto approximately 2,600 occupied taxonomy nodes. The figure shows the root structure and expands the Science (Q) branch to illustrate how top-level classes decompose into more specific areas such as Mathematics (QA), Physics (QC), and their subdivisions; other branches are collapsed for readability.
Table 11: Data compositions compared in the mid-training ablation. Each arm is a 10B-token run from the final pretraining checkpoint of 1.2T tokens; entries are token counts in billions.
\topruleSource
Math-heavy
Balanced
Code-augmented
Code-only
\midruleNemotron (real)
5.0B
4.7B
5.0B
–
Dolmino Math
5.0B
2.1B
2.0B
–
StarCoder
–
–
1.0B
10.0B
FLAN
–
1.7B
1.0B
–
peS2o
–
0.6B
0.4B
–
Wikipedia & Wikibooks
–
0.7B
0.5B
–
Stack Exchange
–
0.2B
0.2B
–
\midruleTotal
10.0B
10.0B
10.0B
10.0B
\bottomrule
Figure 12: Distribution of over 33,000 concepts across the top-level LCC classes and notable subclasses. Science (Q) accounts for the largest share, followed by Technology (T), Social Sciences (H), and Medicine (R); all root classes are represented to varying degrees. The distribution mirrors the composition of the pretraining corpus rather than a curatorial choice.
Table 12: Downstream performance of the four mid-training compositions, each a 10B-token run from the final pretraining checkpoint, against the base model. Best in each column in bold. HSwag: HellaSwag; HEval: HumanEval; WinoG: WinoGrande.
\topruleComposition
MMLU
GSM8K
ARC-C
HSwag
HEval
MBPP
WinoG
Avg.
\midrulePretrained model
0.298
0.140
0.484
0.673
0.049
0.004
0.596
0.321
\midruleMath-heavy
0.376
0.441
0.492
0.681
0.037
0.012
0.616
0.379
Balanced
0.416
0.328
0.497
0.693
0.037
0.006
0.616
0.371
Code-augmented
0.416
0.328
0.498
0.693
0.055
0.012
0.628
0.376
Code-only
0.303
0.086
0.434
0.630
0.061
0.012
0.583
0.301
\bottomrule
Figure 13: Phase 2 human-evaluation fit scores by candidate type. Human annotators rated, on a 1–5 scale, how well each candidate name fit the same lifted-word evidence for a concept. Points show mean fit scores and horizontal bars show 95% confidence intervals; the dotted vertical line marks the neutral midpoint of the scale. Atlas labels score comparably to or above independently generated human labels, and both are clearly separated from embedding, taxonomy, and filler distractors, indicating that raters were not merely assigning high scores to any plausible label.
Table 13: The final Steerling-8B midtraining mixture of 150B tokens. Dolmino Math is upsampled roughly twofold. Proportions follow the code-augmented composition of \creftab:midtraining-composition.
\topruleSource
Number of Tokens
Ratio (%)
\midruleNemotron (real)
72.79B
48.5
StarCoder
30.75B
20.5
peS2o
21.98B
14.7
Dolmino Math (∼2×)
16.05B
10.7
FLAN
6.38B
4.3
Wikipedia & Wikibooks
1.50B
1.0
Stack Exchange
0.56B
0.4
\midruleTotal
150B
100.0
\bottomrule
Table 14: Masking schedule ablation, each a 10B-token run from the final pretraining checkpoint. Best in each column in bold. HSwag: HellaSwag; HEval: HumanEval; WinoG: WinoGrande.
\topruleMasking
MMLU
GSM8K
ARC-C
HSwag
HEval
MBPP
WinoG
Avg.
\midrulePretrained model
0.298
0.140
0.484
0.673
0.049
0.004
0.596
0.321
50% uniform
0.416
0.328
0.498
0.693
0.055
0.012
0.628
0.376
80% Gaussian
0.280
0.355
0.500
0.686
0.055
0.008
0.628
0.359
\bottomrule
Table 15: Steering ablation: Adding the steering phases improves every metric on the steering benchmark (150), while LM Harness performance stays mostly unchanged.
\toprule
LM Harness ↑
Steering benchmark ↑
\cmidrule(lr)2-6 \cmidrule(lr)7-9
MMLU
GSM8K
ARC-C
HSwag
WinoG
Concept
Quality
Harmonic
\midruleMath-heavy
0.370
0.431
0.499
0.682
0.618
1.208
0.989
1.088
+ steering
0.384
0.415
0.505
0.681
0.611
1.244
1.139
1.189
\bottomrule
Table 16: Steerling-8B before and after mid-training across the LM Harness suite (accuracy, %). HSwag: HellaSwag; HEval: HumanEval; WinoG: WinoGrande.
\toprule
MMLU
GSM8K
ARC-C
HSwag
HEval
MBPP
WinoG
Avg.
\midrulePretrained
29.8
14.0
48.4
67.3
4.9
0.4
59.6
32.1
Mid-trained
46.4
44.4
52.3
70.3
8.5
11.0
64.2
42.4
\bottomrule
Table 17: Interpretability metrics for Steerling-8B before and after mid-training.
\toprule
Pretrained
Mid-trained
\midrule Concept Loss ↓
0.002
0.002
Concept Independence Loss ↓
1.907
1.546
Concept Contribution ↑
0.851
0.876
Known Concept Alignment ↑
3.730
3.770
\bottomrule
Table 18: Steering benchmark scores for the pretrained and mid-trained Steerling-8B checkpoints. Mid-training improves every steering metric.
\topruleCheckpoint
Concept ↑
Quality ↑
Harmonic ↑
Sample harmonic ↑
\midrulePretrained (1.2T)
1.072
0.972
1.020
0.843
Mid-trained (1.35T)
1.247
1.064
1.148
0.963
\bottomrule
Table 19: Steerling-8B base model against open base models of comparable size. HSwag: HellaSwag; WinoG: WinoGrande. Values marked ∗ are taken from the OLMo 3 report (100); all other peer numbers are from the respective model reports.
\topruleModel
HSwag
WinoG
PIQA
MMLU
ARC-C
GSM8K
Math
Avg.
\midruleSteerling-8B
70.3
64.2
75.9
46.4
52.3
44.4
8.0
51.6
\midruleLLaMA2 7B
76.0
72.5
79.1
45.9
46.3
13.1
4.3
48.2
DeepSeek 7B
75.4
70.5
79.2
48.2
48.1
17.4
6.0
49.3
Gemma 1 7B
81.2
72.3
81.2
64.3
53.2
46.4
24.3
60.4
LLaDA 8B
70.5
74.8
73.6
65.9
45.9
70.3
31.4
61.8
LLaMA3 8B
79.1
77.3
80.6
65.4
53.1
48.7
16.0
60.0
OLMo 2 7B
83.8
77.2
80.1∗
63.7
79.8
67.5
19.1∗
67.3
\bottomrule
Table 20: Concept module notation, grouped by role.
\topruleSymbol
Type
Meaning
\midrule Hidden states
h
vector
Transformer hidden state
h¯
vector
Bottlenecked state passed to the LM head
h¯=k^+u^+ε
equation
Concept module decomposition
\midrule Concept module heads
f
function
Known head
g
function
Unknown head
k=σ(f(h))
vector
Per-concept activation probabilities, known
u=σ(g(h))
vector
Per-concept activation probabilities, unknown
k\textknown
scalar
Top-k count for the known head
k\textunknown
scalar
Top-k count for the unknown head
\midrule Concept embeddings
K
matrix
Known concept embedding matrix
U
matrix
Unknown concept embedding matrix
Ki
vector
Embedding of known concept i
Uj
vector
Embedding of unknown concept j
n
scalar
Number of known concepts
m
scalar
Number of unknown concepts (m≫n)
R
scalar
Factorization rank of unknown embedding matrix
\midrule Concept contributions
k^=∑ikiKi
vector
Known concept contribution
u^=∑jujUj
vector
Unknown concept contribution
ε=h−k^−u^
vector
Residual term
\midrule Logit decomposition
Wy
vector
Row of the LM head for output token y
ℓy
scalar
Output logit for token y
\bottomrule
Table 21: Concept module notation, grouped by role.
Table 22: Robustness checks for the Phase 2 comparison between pipeline labels and independently generated human labels.
\topruleAnalysis
Result
\midruleMean Phase 2 fit score
LLM 3.98 vs. human 3.50
Top-two rating rate (≥4)
LLM 79% vs. human 63%
Bayesian cumulative-link model
OR 2.38, 95% CrI [1.23,4.01]
Posterior probability of LLM advantage
0.99
Paired comparison probability
0.62, bootstrap 95% CI [0.58,0.66]
Gaussian mixed model
+0.47 points, 95% CI [0.28,0.65]
\bottomrule
Table 23: Notation introduced in the scaling-law analysis, grouped by role: compute and resources, validation losses, power-law parameters, and interpretability scaling.
\topruleSymbol
Type
Meaning
\midrule Compute and resources
C
scalar
Total training FLOPs
M
scalar
Per-token FLOPs (forward + backward)
P
scalar
Non-embedding parameter count
D
scalar
Number of training tokens (total)
Di
scalar
Training tokens for the i-th checkpoint
\midrule Validation losses
ℒi
scalar
Measured validation loss for checkpoint i
ℒ∗(C)
function
Compute-optimal validation loss at budget C
ℒ∞
scalar
Irreducible validation loss
ℒ(P,D)
function
Joint Chinchilla loss surface
ℒ\textfit
function
Huber loss minimized in the joint fit
\midrule Power-law parameters
P∗(C)
function
Compute-optimal parameter count at budget C
aP,aL
scalars
Power-law coefficients (parameter and loss)
αP
scalar
Exponent on compute for parameter scaling
αL
scalar
Exponent on compute for loss scaling
αD
scalar
Exponent on compute for training-token scaling
AP,AD
scalars
Chinchilla coefficients (parameter and data sides)
α,β
scalars
Chinchilla exponents (parameter and data sides)
\midrule Interpretability scaling
m(C)
function
A metric as a function of compute
e
scalar
Irreducible value of a metric
A,β
scalars
Coefficient and exponent for metric scaling
\bottomrule
Table 24: Backbone architectures used across all four families. Backbone parameter counts exclude embeddings; +Concept totals include the concept module heads (concept classifier, and factorized unknown head concept embeddings are excluded). Sequence length is 4096 throughout.
\topruleSize
Layers L
Hidden d
Backbone params
+Concept total params
\midrule10M
6
320
9.2M
82.8M
25M
6
512
23.6M
110.2M
85M
10
768
86.5M
190.5M
200M
13
1024
197.7M
319.1M
400M
17
1280
401.1M
540.0M
800M
17
1792
779.9M
953.6M
1.5B
20
2304
1,510M
1,718M
3B
24
3072
3,228M
3,489M
5B
24
3840
5,694M
6,007M
\bottomrule
Table 25: IsoFLOP target compute budgets per family.
\topruleFamily
Slice 1
Slice 2
Slice 3
Slice 4
\midruleAR
6×1018
1019
3×1019
1020
CDLM
6×1018
1019
3×1019
1020
AR+Concept
1019
3×1019
1.1×1020
3.09×1020
CDLM+Concept
1019
3×1019
1.1×1020
3.09×1020
\bottomrule
실제로 확인된 결과
세 자릿수 규모의 컴퓨팅 구간에 걸친 IsoFLOP 스케일링 실험에서, 개념 모듈을 추가해도 컴퓨팅-최적 스케일링 지수에는 작고 고정된 오프셋만 생겼고, 이 해석 가능성 비용은 규모가 커져도 늘어나지 않았다.
동일한 실험에서 모델이 커질수록 개념 예측 정확도, 알려진/미지의 표현 분리도, 개념 경로로 라우팅되는 예측 비율, 개념 임베딩과 인간이 이해하는 레이블 간 정합도 등 해석 가능성 지표들이 함께 개선됐다.
소규모 실험 결과로부터 합동 친칠라(Chinchilla) 형태 공식을 이용해 외삽한 예측값이 실제 Steerling-8B의 검증 손실과 0.11 나츠 이내로 일치했고, 네 가지 해석 가능성 지표 중 세 가지도 좁은 범위 안에서 예측치와 맞아떨어졌다.
Steerling-8B(1.2조 토큰 사전학습 + 1500억 토큰 중간학습)는 2~16배 더 많은 컴퓨팅으로 훈련된 유사 파라미터 규모의 공개 동급 모델들과 비교해 평균 벤치마크 성능 대비 약 10% 이내 차이로 근접했다.
Atlas 파이프라인의 태그·개념 검증에서, LLM 심사자와 인간 평가자 모두가 매긴 태그·개념 관련성 점수가 대체로 높게 나왔고, Atlas가 생성한 개념 라벨은 사람이 독립적으로 붙인 라벨과 비슷하거나 그보다 높은 적합도 점수를 받아 임베딩·택소노미·필러 방해 항목들과 뚜렷이 구분됐다.
어디에 쓸 수 있나
출력이 어떤 입력 토큰, 어떤 개념, 어떤 학습 데이터에서 왔는지 추적해 모델 행동을 진단하는 감사(auditing) 도구로 활용해볼 수 있다.
재훈련 없이 특정 개념 방향을 증폭하거나 억제해 생성 결과를 조정하는 프롬프트 없는 제어(steering) 기능으로 응용할 수 있다.
정렬(alignment) 파인튜닝이나 사실 출처 추적, 모델이 특정 파인튜닝 데이터에 의존하는지 사전학습 지식에 의존하는지 구분하는 용도로 학습 데이터 귀속 기능을 시험해볼 수 있다.
대규모 말뭉치에 대한 개념 주석이 필요한 다른 연구에서 Atlas류의 3단계(태깅-군집화-주석 모델) 파이프라인을 참고할 수 있다.
한계와 남은 검증
학습 데이터 귀속은 인과적 영향 함수가 아니라 표현 공간에서의 근사적 유사도 검색이므로, '이 데이터가 실제로 출력을 초래했다'는 인과적 증명은 아니다.
개념 라이브러리(3만 3732개)는 사전학습 말뭉치 구성(과학·기술·사회과학·의학 등)을 반영한 것이라 다른 분야나 언어 구성의 말뭉치에 그대로 일반화되는지는 검증되지 않았다.
Steerling-8B는 동급 공개 모델보다 2~16배 적은 컴퓨팅으로도 평균 성능의 약 10% 이내에 근접했지만, 여전히 일부 벤치마크에서는 격차가 존재할 수 있다.
개념 모듈의 파라미터 비중은 8B 모델 기준 4%이며, 프런티어(초대형) 규모에서 1% 이하로 떨어질 것이라는 추정은 동일 파라미터화를 가정한 예상치로, 실제 초대형 모델에서 직접 검증되지는 않았다.
인간 평가는 50개 청크 샘플, 1,025건의 개별 평정처럼 제한된 규모로 이뤄져, 더 넓은 범위의 인간 검증이 추가로 필요하다.
왜 중요한가
이 연구가 맞다면, 성능과 해석 가능성이 서로 상충한다는 오래된 전제가 흔들리고, 대규모 모델을 나중에 뜯어보지 않고도 처음부터 통제·감사·수정 가능한 방식으로 만들 수 있다는 가능성이 열린다. 이는 모델의 특정 행동을 진단하고, 관련 학습 데이터를 추적하고, 재훈련 없이 개념을 조정해 행동을 고치는 실무적 개입 도구로 이어질 수 있다.
이 논문의 용어
개념 병목층(concept bottleneck) · 모델 내부 표현과 최종 출력 사이에 인간이 이해할 수 있는 '개념' 단위를 끼워 넣어, 출력이 어떤 개념들의 합으로 분해되도록 만든 구조
확산 언어모델(diffusion language model) · 문장을 한 번에 마스킹한 뒤 이를 복원하는 방식으로 학습하는 언어모델로, 한 토큰씩 순서대로 예측하는 자기회귀 모델과 다른 방식
사후 해석(post-hoc interpretability) · 이미 학습이 끝난 모델을 나중에 분석 도구로 뜯어보며 설명을 만들어내는 기존 방식
IsoFLOP 스케일링 · 같은 컴퓨팅 예산(연산량) 안에서 모델 크기와 데이터량을 바꿔가며 성능 변화 추세를 관찰하는 실험 방법
Integrated Gradients(적분 그레이디언트) · 입력이 기준값(여기서는 [MASK] 토큰)에서 실제 값으로 변할 때 출력이 얼마나 바뀌는지를 경로를 따라 적분해 각 입력 토큰의 중요도를 계산하는 기법
