Mechanist: AI as a Scientific Instrument for Discovering the Mechanisms of Intelligence
AI 모델의 '속마음'을 스스로 탐구하는 AI 과학자 시스템, Mechanist
Mechanist는 AI 모델 내부의 작동 원리(왜 특정 답을 내는지, 어떤 위험이 숨어있는지)를 사람 대신 스스로 가설을 세우고 실험해서 밝혀내는 에이전트 시스템이다. 13,000편의 해석가능성 논문과 4,300만편의 다분야 논문 지식베이스, 32개의 분석 방법을 갖추고 Claude Code 및 기존 AI 과학자 시스템보다 더 신뢰할 만한 실험과 더 가치 있는 가설을 만들어냈다. 실제로 실험실 안전 위험을 발견하고, 모델이 '믿음'을 표현하는 메커니즘을 찾아 성능을 개선하고, DNA 서열 생성까지 제어하는 데 성공했다.
METAL MEDIA 해설 도표
Mechanist의 자율 탐구 4단계 흐름
증거 상태측정 결과가 보고됨
가설 생성해석가능성 논문 13,000편과 26개 분야 4,300만편 지식베이스를 참고해 AI 행동에 대한 가설을 만든다
실험 실행32개 메커니즘 분석·개입 방법으로 데이터셋, 평가지표, 실험을 설계하고 직접 실행한다
검증실험이 타당한지, 결론이 다른 방법·데이터·모델에서도 유지되는지 확인한다
반복검증 결과가 부족하면 가설 또는 실험을 수정해 다시 실행하며, 신뢰도가 확보될 때까지 반복한다
METAL MEDIA이 원문을 바탕으로 재구성한 해설 도표이며, 논문 저자의 원문 figure가 아닙니다.
무엇을 했나
연구팀은 사람이 일일이 손으로 하던 AI 내부 메커니즘 탐구를 가설 생성-실험 실행-검증-반복의 4단계로 자동화한 에이전트 시스템 Mechanist를 만들었다.
13,000편 규모의 해석가능성 전문 지식그래프와 26개 분야 4,300만편 논문 데이터베이스, 32개 메커니즘 분석·개입·검증 방법을 결합해 가설 생성과 실험 실행을 뒷받침했다.
16개 기존 논문을 재현하는 벤치마크에서 Claude Code, 기존 AI 과학자 시스템과 비교해 실험 실행 신뢰도와 가설의 새로움·영향력·검증가능성 평가에서 더 높은 점수를 받았다.
Mechanist는 겉보기에 안전한 학습 데이터로도 위험한 성향이 다른 모달리티로 전이될 수 있다는 안전 위험을 발견하고, 모델이 세계지식·개인적 믿음·타인이 가진 믿음을 구분하는 뇌 부위 같은 특정 어텐션 헤드를 찾아냈다.
이 발견을 실제 개입으로 연결해 추론 시점에 해당 헤드를 증폭시켜 모델 정답률을 높였고, Evo2라는 DNA 서열 생성 모델의 내부 특징을 조작해 원하는 단백질 구조(알파 나선 함량)를 갖는 서열을 만들어냈다.
Fig. 1: The comparison between our Mechanist and existing AI Scientists. a, the aims of existing AI Scientists. b, the aims of our Mechanist. c, the detailed differences between our Mechanist and existing AI Scientists.Fig. 2: Overview and evaluation of Mechanist. a, The Mechanist framework consists of four stages: hypothesis generation, experiment execution, verification, and iteration. Specifically, hypothesis generation is inspired by interdisciplinary knowledge from the existing knowledge library, to which new discoveries validated by Mechanist are subsequently added. b, Benchmark design for comparing Claude Code, AI-Scientist and Mechanist. The benchmark evaluates the reliability of experimental execution by reproducing the paper and assesses generated hypotheses for novelty, impact, and testability. c, Reliability of experimental execution assessed through the reproduction of 16 existing papers. Experimental outcomes are independently evaluated by human experts and by an LLM judge, Claude Opus 5. d, Agreement between human and LLM evaluations of experimental reliability. Each point represents one reproduced experiment; the dashed line indicates perfect agreement. e, Overall quality of hypotheses generated for tasks in science, language, reasoning, and safety. f, Evaluation of hypotheses generated by Claude Code, AI-Scientist, and Mechanist across three dimensions: novelty, impact, and testability. g, Joint novelty and testability space of the hypotheses generated by CC.
Table 1: Dataset statistics for belief-state evaluation. The analysis dataset is used for behavioural evaluation, mechanism localization, causal validation, and router training, while the proposition-disjoint test dataset is reserved for intervention evaluation. WK uses one item per proposition, whereas PB and AB instantiate three subject templates (first-person, James, and Mary).
Dataset
Category
# propositions
WK
PB
AB
Analysis
colour
34
34
102
102
taxonomy
95
95
285
285
geography
36
36
108
108
math
22
22
66
66
world
40
40
120
120
Analysis total
–
227
227
681
681
Test
colour
10
30
90
90
taxonomy
15
45
135
135
geography
14
42
126
126
math
10
30
90
90
world
9
27
81
81
chemistry
12
36
108
108
biology
15
45
135
135
astronomy
12
36
108
108
units
12
36
108
108
medicine
40
40
120
120
Test total
–
149
367
1 101
1 101
Fig. 3: Mechanist extends subliminal learning to the transfer of opposing preferences in the multimodal setting. a, Evolution of subliminal learning research. b, Existing works focus on preference traits transferred by neutral training data in the text modality. A GPT-4.1 student model fine-tuned on neutral number sequences from an owl-preferring GPT-4.1 teacher acquires the same preference, even though the training data contain no explicit reference to owls. c, Behaviors discovered by Mechanist. Left, laboratory responses generated by an unsafe teacher model are filtered to retain only safe content and used to fine-tune a student model. Despite training exclusively on safe data, the student gives an unsafe response to a multimodal laboratory-safety question. Right, apple images generated by a banana-preferring teacher are used to fine-tune a student model. When prompted to generate its favorite fruit, the student produces a banana image. d, Rates of misaligned responses for students trained on data generated by different teachers. Left, unsafe-response rates for the untuned Qwen3.5-9B baseline and student models (initialized from Qwen3.5-9B) trained on data from a regular or unsafe teacher model. Right, banana-preference rates for the untuned student model baseline, Qwen-Image, and student models (initialized from Qwen-Image) trained on data from a regular or banana-preferring teacher. Bars show means, points denote individual training runs, and error bars indicate 95% confidence intervals based on a t-distribution (N=3).Fig. 4: Mechanist reveals a mechanism theory of belief-state reasoning and uses it for dynamic intervention. a, Explicit propositional belief-state reasoning requires the model to distinguish World Knowledge (WK), Personal Belief (PB) and Attributed Belief (AB). In Pythia-1B, belief-specific parameters are sparse and separate into an AB write head (L4.H1) and PB correction heads (L9.H1, L7.H5 and L12.H1). b, Formation of belief heads during Pythia-1B pretraining. AB emerges before PB. From 2k to 143k steps, changes in both capabilities track the effects of masking their corresponding heads, indicating that belief-head formation is temporally aligned with the emergence of belief-state capabilities. c, Dynamic intervention based on the discovered mechanism. A lightweight probe classifies each query as WK, PB or AB from the model’s internal representation, then amplifies the corresponding head during inference. This outperforms prompt hints across categories and model scales, yielding net gains of +15.3%, +8.8% and +3.5% for Pythia-410M, Pythia-1B and Pythia-2.8B, respectively.
Table 2: Prompt templates for WK, PB, and AB. Bracketed text denotes an item-specific field.
Frame
Template
Target
WK
[Factual cloze question] Answer:
yfact
PB
[Subject] believes [conflicting proposition]. In reality, [factual cloze question] Answer:
Fig. 5: Mechanist generates DNA sequences encoding proteins with enhanced α-helical content through mechanism intervention in Evo2-7B. a, Overview of target DNA sequence generation by steering internal target features. Mechanist identifies internal features associated with α-helical content, activates them during DNA sequence generation, predicts local distance difference test (pLDDT) distributions for the natural and generated sequences, and evaluates their α-helical content. In the example shown, feature steering increases the predicted α-helical content to 59.1% while maintaining structural quality with a pLDDT score of 0.79. b, Mean α-helical content across 900 generated sequences. Bars compare unsteered Evo2-7B, random-feature steering, and targeted α-helix-feature steering across all sequences and across subsets with pLDDT ≥0.4 or pLDDT ≥0.5. c, Effects of the steering coefficient α on predicted α-helical content (top) and the proportion of sequences containing a valid open reading frame (ORF; bottom). Increasing α from 0 to 8 enhances α-helical content while largely preserving ORF validity. Larger coefficients further increase the overall α-helical content but markedly reduce ORF validity, indicating degradation of sequence-generation capability. We therefore select α=8, which yields the highest α-helical content among valid sequences. d, Representative predicted structures generated from two input DNA sequences using steering coefficients of α=0, 2, 4 and 8. Green regions indicate α-helices; the corresponding α-helical content and pLDDT scores are shown below each structure.Fig. 6: The overview of our interpretability database.
Table 3: Cross-model belief-state results. WK denotes world-knowledge recall, PB denotes factual judgement under a conflicting belief context, and AB denotes reporting the attributed belief.
Model
WK
PB
AB
Mechanistic result
Pythia-410M
0.881
0.852
0.461
Weak AB; no clean localization
Pythia-1B
0.925
0.786
0.833
AB L4.H1; PB {L9.H1, L7.H5, L12.H1}
Pythia-2.8B
0.960
0.994
0.794
AB L5.H22; PB top-25 heads
OLMo-1B
0.930
0.766
0.727
AB L2.H11; PB {L9.H9, L11.H9, L9.H0}
OLMo-7B
0.943
0.987
0.764
AB L2.H7; PB top-25 heads
GPT
1.000
1.000
0.896
Closed-source; behaviour only
Fig. 7: Overview of our interpretability database from the perspective of interpretable objects.Fig. 8: Overview of our interpretability database from the perspective of application scenarios.
실제로 확인된 결과
16개 논문 재현 벤치마크에서 Mechanist가 사람 평가자와 LLM 평가자(Claude Opus 5) 모두에게서 Claude Code, 기존 AI 과학자 시스템보다 높은 실험 실행 신뢰도 점수를 받았다.
안전하다고 필터링된 학습 데이터로 파인튜닝했음에도 학생 모델의 멀티모달 실험실 안전 질문 불안전 응답률이 48.6%로 나타나 미조정 기준선 20.3%, 일반 교사 학습 학생 18.3%보다 높았다.
바나나를 선호하는 교사 모델의 이미지 데이터에서 바나나를 모두 제거해 학습했음에도 학생 모델의 바나나 생성률이 25.6%로 미조정 기준선 2.5%, 일반 교사 학생 2.1%보다 높았다.
Pythia-1B에서 특정 어텐션 헤드(L4.H1, L9.H1, L7.H5, L12.H1)를 제거하면 해당 믿음 관련 과제 정확도가 크게 떨어지는 반면 다른 과제 정확도와 언어모델링 성능(Pile perplexity)은 거의 변하지 않아, 이 헤드들이 믿음 표현을 전담한다는 것이 확인됐다.
추론 시점에 확률 기반으로 해당 헤드를 증폭하는 개입은 프롬프트 힌트 방식보다 더 큰 성능 향상(Pythia-410M/1B/2.8B에서 각각 +15.3%/+8.8%/+3.5%)을 냈고, Evo2-7B의 내부 특징을 조작해 알파 나선 함량이 43.8%에서 56.6%로 증가했다.
Fig. 9: Mechanism methods for large language models and multi-modal models.Fig. 10: Reliability of reproduced claims across research areas. Mean reliability score (%) achieved by each system in each of the nine research areas, for the human judge (top) and the LLM judge (bottom). Bars show the mean and error bars denote 95% confidence intervals.
어디에 쓸 수 있나
AI 모델을 배포하기 전에 겉보기에 안전한 데이터로 학습해도 숨겨진 위험 성향이 전이될 수 있는지 점검하는 안전성 감사 절차
모델이 세계지식과 타인의 믿음을 구분하지 못해 발생하는 오류를 추론 단계에서 실시간으로 교정하는 개입 기법
생물학 서열 생성 모델(예: DNA·단백질 생성 모델)에서 원하는 구조적 특성을 갖도록 내부 특징을 직접 조작하는 설계 방식
새로운 AI 행동이나 위험을 탐지하고 그 메커니즘을 가설-실험-검증 과정으로 자동 탐구하는 연구 보조 도구
Fig. 11: Reliability of reproductions along the four evaluation dimensions. Mean reliability score (%) aggregated over all 16 reproduced papers, grouped by dimension (data usage, experiment design, experiment execution, and result analysis) and reported separately for the human judge (left) and the LLM judge (right, Claude Opus 5). Bars show the mean and error bars denote 95% confidence intervals.Fig. 12: Mechanist is the most reliable system under every judge, and the judges agree with one another. Three human experts, Claude Opus 5, and GPT-5.6-sol independently scored the same 48 system-paper units (16 papers × 3 systems) with an identical reliability rubric. a, Mean reliability score (%) of each system under each judge. Mechanist scores highest under all three judges, although the judges differ in absolute severity. Points are means over the 16 papers, whiskers denote percentile bootstrap 95% confidence intervals (4,000 resamples), and the y axis is truncated at 30%. b, Paired scores for the three judge pairs (left, Claude Opus 5 versus GPT-5.6-sol; middle, human versus Claude Opus 5; right, human versus GPT-5.6-sol). Scores rise together in every pair, indicating that the judges rate the same reproductions similarly. Each point is one system-paper unit coloured by system, the dashed line is a through-origin least-squares fit, and Spearman ρ is the rank correlation.
한계와 남은 검증
믿음 메커니즘 실험은 학습 중간 체크포인트가 공개된 Pythia와 OLMo 계열에 주로 의존했고, GPT 등 폐쇄형 모델은 내부 구조 분석 없이 행동 수준 테스트만 가능했다.
멀티모달 위험 전이 실험은 특정 모델(Qwen3.5-9B, Qwen-Image)과 특정 도메인(화학 실험실 안전, 과일 선호)에 한정되어 다른 모델·상황으로의 일반화는 추가 검증이 필요하다.
DNA 서열 생성 개입은 알파 나선 함량이라는 특정 특성과 Evo2-7B 모델에 한정된 사례이며, 다른 생물학적 특성이나 모델로의 확장은 아직 보고되지 않았다.
개입 강도(steering coefficient)가 너무 커지면 유효한 서열 생성 능력 자체가 저하되는 트레이드오프가 있어 최적 강도 선택이 필요하다.
믿음 개입 방식은 확률 기반 확인 절차(probe)가 정확히 프레임을 분류한다는 가정에 의존하며, 이 분류기의 오류 가능성은 별도로 논의되지 않았다.
왜 중요한가
AI가 점점 빠르게 발전하는데 왜 그렇게 작동하는지 이해하는 속도는 못 따라가는 상황에서, 이 시스템은 사람 개입을 줄이면서도 AI의 내부 작동과 위험을 자동으로 파헤치는 방법을 제시한다. 이는 AI 안전성 점검, 모델 성능 개선, 과학용 AI 제어 등 여러 분야에 실질적으로 활용될 수 있는 접근이다.
이 논문의 용어
해석가능성(interpretability) · AI 모델이 왜 그런 결과를 내는지 내부 작동 원리를 이해하려는 연구 분야
잠재 학습(subliminal learning) · 겉보기에 관련 없는 학습 데이터를 통해 특정 성향이 교사 모델에서 학생 모델로 은밀히 전이되는 현상
어텐션 헤드(attention head) · 트랜스포머 모델 내부에서 특정 정보를 선택적으로 처리하는 작은 연산 단위
스파스 오토인코더(SAE) · 모델 내부의 복잡한 표현을 사람이 해석 가능한 개별 특징으로 분리해내는 도구
