AI 과학자가 실험하고 논문 쓰는 시대, 로그만 남겨선 뭐가 틀렸는지 못 찾는다
AI 과학자가 실험하고 논문 쓰는 시대, 로그만 남겨선 뭐가 틀렸는지 못 찾는다
자율적으로 아이디어를 내고 실험하고 논문까지 쓰는 AI 연구 시스템이 늘면서, 어떤 호출이 언제 일어났는지 기록하는 것만으로는 오류를 잡을 수 없다는 문제가 제기됐다. 이 논문은 개별 모델 호출이 아니라 '산출물'과 '주장'을 감사의 기본 단위로 삼아야 한다고 주장하며, 이를 위한 경량 관찰 체계를 제안한다. 후보 산출물, 그것을 만든 연산, 평가 결과, 채택/폐기 결정, 인간 개입, 그리고 근거가 연결된 주장을 하나의 그래프로 기록하는 방식이다.
METAL MEDIA 해설 도표
AI 과학자가 실험하고 논문 쓰는 시대, 로그만 남겨선 뭐가 틀렸는지 못 찾는다
- 01문제 제기: 실행 로그(어떤 호출이 언제 일어났는가)만으로는 자율 과학 AI 시스템의 실패를 찾을 수 없다. 실패는 보통 여러 산출물에 걸쳐 흩어져 있기 때문이다. 예: 논문 초안이 엉뚱한 근거를 인용하거나, 탐색 과정이 어중간한 후보를 고르거나, 실험실 신규성 주장이 명시되지 않은 규칙에 기대는 경우다.
- 02기존 도구의 한계: LLM 호출을 추적하는 트레이싱 도구, 실험 관리 도구, 출처 기록 표준(PROV-O, RO-Crate) 등은 각자 다른 질문(다음 호출이 뭐였나, 어떤 실행이 이 지표를 냈나, 최종 산출물이 어떻게 유도됐나)에 답하도록 설계돼 있어, '이 주장의 근거는 무엇이고 누가 승인했나' 같은 과학 감사 질문에 바로 답하지 못한다.
- 03제안 방식: 개별체(프로그램·초안·표·시료·주장 등 후보 산출물), 연산(산출물을 만들어내는 사건), 평가 기록(점수·합격여부·검증 결과), 계보(부모-자식 관계), 보관소(선택된 집합), 실행 단위, 작업 스트림, 인간 개입 명령이라는 8가지 요소로 구성된 소형 관찰 프로필을 제시한다. 특히 과학적 '주장'을 특별 취급하지 않고 근거 연결과 검증 기록을 가진 평범한 개별체로 다룬다.
- 04결과 및 활용: 정확도가 4.2%포인트 개선됐다는 주장이 실험 로그와 맞지 않는 경우 같은 예시를 통해, 검토자가 수천 개의 호출 기록을 다 읽지 않고도 '근거 없는 주장', '독립 평가 없이 채택된 후보', '개입 이후 내려진 보관 결정' 등을 바로 질의할 수 있음을 보인다. 이 프로필은 OpenTelemetry, PROV-O, RO-Crate 같은 기존 표준을 대체하지 않고 그 위에 얹는 보완 계층으로 제시된다.
- 05한계: 이 체계 자체가 환각, 조작, 위험한 실험, 벤치마크 편법을 막아주지는 않는다. 검증의 질은 여전히 평가자와 인간 판단에 달려 있고, 어떤 단위를 '산출물'로 볼지 정하는 기준(세분화 문제)은 도메인마다 열린 과제로 남는다.
무엇을 했나
- 문제 제기: 실행 로그(어떤 호출이 언제 일어났는가)만으로는 자율 과학 AI 시스템의 실패를 찾을 수 없다. 실패는 보통 여러 산출물에 걸쳐 흩어져 있기 때문이다. 예: 논문 초안이 엉뚱한 근거를 인용하거나, 탐색 과정이 어중간한 후보를 고르거나, 실험실 신규성 주장이 명시되지 않은 규칙에 기대는 경우다.
- 기존 도구의 한계: LLM 호출을 추적하는 트레이싱 도구, 실험 관리 도구, 출처 기록 표준(PROV-O, RO-Crate) 등은 각자 다른 질문(다음 호출이 뭐였나, 어떤 실행이 이 지표를 냈나, 최종 산출물이 어떻게 유도됐나)에 답하도록 설계돼 있어, '이 주장의 근거는 무엇이고 누가 승인했나' 같은 과학 감사 질문에 바로 답하지 못한다.
- 제안 방식: 개별체(프로그램·초안·표·시료·주장 등 후보 산출물), 연산(산출물을 만들어내는 사건), 평가 기록(점수·합격여부·검증 결과), 계보(부모-자식 관계), 보관소(선택된 집합), 실행 단위, 작업 스트림, 인간 개입 명령이라는 8가지 요소로 구성된 소형 관찰 프로필을 제시한다. 특히 과학적 '주장'을 특별 취급하지 않고 근거 연결과 검증 기록을 가진 평범한 개별체로 다룬다.
- 결과 및 활용: 정확도가 4.2%포인트 개선됐다는 주장이 실험 로그와 맞지 않는 경우 같은 예시를 통해, 검토자가 수천 개의 호출 기록을 다 읽지 않고도 '근거 없는 주장', '독립 평가 없이 채택된 후보', '개입 이후 내려진 보관 결정' 등을 바로 질의할 수 있음을 보인다. 이 프로필은 OpenTelemetry, PROV-O, RO-Crate 같은 기존 표준을 대체하지 않고 그 위에 얹는 보완 계층으로 제시된다.
- 한계: 이 체계 자체가 환각, 조작, 위험한 실험, 벤치마크 편법을 막아주지는 않는다. 검증의 질은 여전히 평가자와 인간 판단에 달려 있고, 어떤 단위를 '산출물'로 볼지 정하는 기준(세분화 문제)은 도메인마다 열린 과제로 남는다.
| Audit question | Required relation | Example failure exposed |
|---|---|---|
| Where did this result come from? | Parent individuals, derivation operator, emitter stream | Final candidate descends from a failed or out-of-policy branch |
| What supports this claim? | Claim individual, evidence references, evidence bindings | Manuscript cites a table whose value contradicts the sentence |
| Who or what accepted it? | Fitness record, evaluator identity, threshold or rubric | One unstable evaluator dominates a multi-evaluator pipeline |
| How was the search steered? | Steering command, applied operator, affected archive or plan | Human correction is overwritten by a later autonomous step |
| What was discarded? | Archive-update and rejection events | Negative results or failed replications disappear from the record |
| Step | Record | Audit-relevant fields |
|---|---|---|
| 1 | Individual: experiment log | id=i_exp, kind=experiment_log, payload hash, metric table URI. |
| 2 | Individual: draft | id=i_draft, kind=manuscript_draft, payload hash for generated text. |
| 3 | Operator: extract claim | Parent i_draft, child i_claim, stream writer, extractor version. |
| 4 | Individual: claim | kind=claim, text payload, evidence_refs=[i_exp], binding to metric row and value. |
| 5 | Operator: verify | Parent i_claim, context i_exp, evaluator claim_numeric_checker. |
| 6 | Fitness: verification | Target i_claim, value unsupported, reason evidence_mismatch, extracted and claimed values. |
| Record | Minimum fields | Integrity rule |
|---|---|---|
| Individual | id, run_id, kind, created_at, payload reference or hash | The identifier denotes one inspectable artifact version: draft, code, dataset, sample, measurement, plan, policy, evaluator, or claim. |
| Operator | id, op_type, parent_ids, child_ids, emitter stream, timestamp | Children are derived from earlier parents or explicitly imported external objects. Context references do not imply derivation. |
| Fitness record | evaluated individual, evaluator identity and version, value or verdict, timestamp | The evaluator version is part of the result. A later evaluator may disagree without overwriting the earlier record. |
| Evidence binding | claim identifier, evidence identifier, locator, extracted value or rule, binding role | A claim can cite many evidence objects, and each citation can fail independently. |
| Archive event | archive identifier, member identifier, add/remove action, rule or policy, timestamp | Membership history is event-sourced. The current archive is a derived view. |
| Run and stream | run identifier, stream identifier, invoker identity, parent run when applicable | Parallel agents, tools, humans, and instruments can emit into separate streams without requiring separate schemas. |
| Steering command | command identifier, issuer, target stream or operator, instruction type, effect reference | Human interventions and policy updates are auditable artifacts, not comments hidden in logs. |
| Query | Records read | Expected answer |
|---|---|---|
| List unsupported final claims | Final report archive, claim individuals, evidence bindings, verification fitness | Claims with no supporting evidence, failed verification, stale evidence, or explicit unsupported status. |
| Trace a number in the manuscript | Claim individual, locator, evidence binding, source table or run artifact, verifier record | The evidence object, extracted value, claimed value, and pass/fail status. |
| Recover the best candidate’s ancestry | Archive event, selected individual, lineage operators, parent individuals, fitness records | The branch or population history that produced the selected artifact. |
| Detect archive collapse | Archive events, lineage graph, payload hashes, diversity metrics when present | Whether high-scoring candidates share recent ancestors, duplicate payloads, or one evaluator loophole. |
| Find the cause of a plan revision | Plan individuals, revision operators, context references, message operators, steering commands | The result, reviewer artifact, tool failure, or human intervention that changed the plan. |
| Audit self-modification | Agent-policy individuals, self-modification operators, later operator context | Which agent version produced each result and whether evaluator or policy changes preceded acceptance. |
| Audit closed-loop claims | Sample, protocol, instrument, measurement, extraction, claim, and verifier records | Which physical evidence and decision rule support each novelty, yield, or safety claim. |
| Check redaction boundaries | Payload manifest, redaction records, event hashes, access labels | Which payloads are hidden, why they are hidden, and whether their event identities remain intact. |
| Case | Minimal event sequence | What becomes inspectable |
|---|---|---|
| Hallucinated number | draft_4 → extract_claim → claim_23. claim_23 binds to run7_metrics. metric_checker_v2 emits fail with observed value 84.7 rather than claimed value 87.4. | The sentence is no longer buried in prose. The trace identifies the claim, the evidence table, the extracted value, the checker version, and the repair or propagation path. |
| Evolutionary collapse | program_87 and program_91 produce children through mutation and crossover. Benchmark fitness rises. Archive events admit near-duplicate payload hashes under one selection rule. | Improvement can be separated from diversity. A reviewer can see whether the archive exploited a benchmark corner rather than discovering robust alternatives. |
| Plan revision | A runner artifact reports a failed experiment. A critic stream emits a review. A human steering command changes the priority. revise_plan derives plan_v2 from plan_v1 with both records as context. | The plan change has a visible cause. Cross-agent handoff and human steering are part of lineage rather than chat transcript residue. |
| Closed-loop novelty | sample_s17, protocol_p4, and xrd_file_s17 feed an extraction operator. A novelty rule emits a verdict. A manuscript claim binds to the rule, reference set, and instrument file. | A later correction can identify whether the disputed claim came from the measurement, the extraction, the database comparison, or the novelty rule. |
| Self-modification | agent_v2 edits its prompt and evaluator definition, producing agent_v3. Later candidate-generation operators list agent_v3 as context. | The trace remains acyclic by version while showing that the process generating later artifacts changed. |
| Package component | Contents | Failure mode avoided |
|---|---|---|
| Event stream | JSONL, database export, or graph export containing the contract in Table A.1 | Reviewers receive files but cannot reconstruct relations among claims, evidence, and evaluations. |
| Payload manifest | Hashes or URIs for drafts, code, tables, datasets, notebooks, instrument files, figures, and external references | A trace points to objects whose identity changed after the run. |
| Validator report | Reference checks, acyclicity checks, required-field checks, final-claim coverage, redaction accounting | Missing or malformed relations are discovered only during manual review. |
| Inspection queries | Saved queries for unsupported claims, lineage, archive history, steering effects, and redaction boundaries | Each reviewer reconstructs a different audit procedure. |
| Telemetry export | Span identifiers, model metadata, tool calls, latency, token counts, errors, and links to produced individuals | Execution debugging is separated from scientific artifact audit. |
| Archival export | PROV-O, RO-Crate, OpenLineage, or domain archive bundle when applicable | Final research objects lose the running history that explains how they were selected. |
왜 중요한가
논문 작성, 자동 실험, 신소재 탐색 등 자율 AI 연구 시스템이 실제 연구 현장에 들어오는 지금, 결과를 신뢰하고 검증할 표준화된 방법이 없다면 오류 있는 주장이나 조작된 결과가 그대로 논문·발표로 이어질 위험이 크다. 이 제안은 연구자·리뷰어·벤치마크 설계자가 AI 연구 시스템의 산출물을 공통된 방식으로 검증할 수 있는 최소 요구사항을 제시한다는 점에서 실용적 의미가 있다.
이 논문의 용어
- OpenTelemetry · 소프트웨어 실행 과정(호출, 지연시간 등)을 기록하는 업계 표준 관측 도구
- PROV-O / RO-Crate · 연구 데이터나 산출물이 어떻게 만들어졌는지(출처)를 표준 형식으로 기록하는 W3C 규격들
- 계보(lineage) · 어떤 산출물이 어떤 이전 산출물로부터 만들어졌는지 보여주는 부모-자식 관계 그래프
- 보관소(archive) · 여러 후보 산출물 중 선택되어 유지되는 집합, 예를 들어 최우수 후보 집합
- 근거 연결(evidence binding) · 어떤 주장이 어떤 측정값이나 자료의 어느 부분을 근거로 삼았는지 명시적으로 연결한 기록
최신 논문
- AI 코딩 에이전트에게 과학 소프트웨어 수리를 시켜보니, 절반도 제대로 못 고쳤다AI 코딩 에이전트에게 과학 소프트웨어 수리를 시켜보니, 절반도 제대로 못 고쳤다
- 논문 속 시연이 아니라 실제 서비스에 넣을 수 있는 희소 어텐션 만들기논문 속 시연이 아니라 실제 서비스에 넣을 수 있는 희소 어텐션 만들기
- 고객상담 AI 상담원이 규정을 '한 번의 행동'이 아니라 '전체 절차'로 지키게 만드는 방법고객상담 AI 상담원이 규정을 '한 번의 행동'이 아니라 '전체 절차'로 지키게 만드는 방법
- 로봇 팔에게 사람의 시연 없이 새 일 시키기, 말 잘하는 AI가 대신 가르친다로봇 팔에게 사람의 시연 없이 새 일 시키기, 말 잘하는 AI가 대신 가르친다
- 에이전트 학습용 환경을 새로 만드는 대신, 기존 환경에 '패치 부품'을 씌워 그 에이전트의 약점에 맞게 바꾸는 방법에이전트 학습용 환경을 새로 만드는 대신, 기존 환경에 '패치 부품'을 씌워 그 에이전트의 약점에 맞게 바꾸는 방법
- AI 모델을 '소유'하지 못한 조직은 안전 통제도 절반밖에 못 한다AI 모델을 '소유'하지 못한 조직은 안전 통제도 절반밖에 못 한다
- AI가 선생님 모델을 따라 배우다가, 정답에 다가가는 '좋은 생각'까지 억누르는 문제를 잡아낸다AI가 선생님 모델을 따라 배우다가, 정답에 다가가는 '좋은 생각'까지 억누르는 문제를 잡아낸다
- AI가 특정 사람 말투를 흉내내도록 시켜봤더니, 결국 AI 자신의 말투에서 못 벗어난다AI가 특정 사람 말투를 흉내내도록 시켜봤더니, 결국 AI 자신의 말투에서 못 벗어난다
METAL MEDIA 최신 기사
그림 출처: Xiangyu Yin et al., arXiv:2608.18312, CC BY 4.0