AI 모델을 '소유'하지 못한 조직은 안전 통제도 절반밖에 못 한다
AI 모델을 '소유'하지 못한 조직은 안전 통제도 절반밖에 못 한다
AI를 API로 빌려 쓰는 규제 기관은 모델 가중치나 내부 로그, 인프라를 볼 수 없어 기존 AI 안전 통제 기법 상당수를 그대로 쓸 수 없다. 이 논문은 데이터, 모델, 인프라, 상호작용 네 층위로 접근 권한을 나눠 어떤 통제 기법이 어떤 접근 조건에서 실제로 작동하는지 매트릭스로 정리하고, 135만 건의 가상 사례 시뮬레이션으로 이를 검증했다. 결과적으로 완전한 로그는 사고 진단을, 실행 전 게이트웨이는 사전 개입을, 범위 제한은 안전성을 높이지만 유용성을 깎아먹는다는 점을 보였다.
METAL MEDIA 해설 도표
AI 모델을 '소유'하지 못한 조직은 안전 통제도 절반밖에 못 한다
- 01AI 통제 연구는 대개 배포 기업이 모델과 파이프라인을 자유롭게 계측할 수 있다고 가정하지만, API로 프론티어 모델을 쓰는 규제 기관은 모델 가중치, 서빙 인프라, 내부 추적 기록, 업데이트 과정, 전체 상호작용 로그를 갖지 못하는 경우가 많다
- 02이런 제한된 접근 상태를 '경계 지어진 주권(bounded sovereignty)'으로 정의하고, 데이터·모델·인프라·상호작용 네 층위로 나눠 각 통제 기법이 어떤 접근 조건을 필요로 하는지 매트릭스로 정리했다
- 03부족한 접근 권한을 계약, 아키텍처, 감사, 벤더 보증, 잔여 위험 감수, 시스템 범위 축소 등으로 대신 메우는 데 드는 비용을 '주권 할인 비용(sovereignty discount cost)'이라는 개념으로 제안했다
- 04가상의 결제 분쟁 처리 업무를 모델로 삼아 20가지 접근 프로필, 10가지 통제 기법, 3가지 에이전트 행동을 조합해 135만 건의 가상 사례를 시뮬레이션했고, 익명화된 국가 결제 인프라 시나리오로 해석을 덧붙였다
- 05완전한 로그는 사고 진단 능력을, 실행 전 개입이 가능한 게이트웨이는 위험 행동 사전 차단을, 추적 기록과 모델 버전 관리는 사고 후 설명력을 높였으며, 시스템이 할 수 있는 일의 범위를 좁히면 안전성은 오르지만 유용성은 떨어졌다
무엇을 했나
- AI 통제 연구는 대개 배포 기업이 모델과 파이프라인을 자유롭게 계측할 수 있다고 가정하지만, API로 프론티어 모델을 쓰는 규제 기관은 모델 가중치, 서빙 인프라, 내부 추적 기록, 업데이트 과정, 전체 상호작용 로그를 갖지 못하는 경우가 많다
- 이런 제한된 접근 상태를 '경계 지어진 주권(bounded sovereignty)'으로 정의하고, 데이터·모델·인프라·상호작용 네 층위로 나눠 각 통제 기법이 어떤 접근 조건을 필요로 하는지 매트릭스로 정리했다
- 부족한 접근 권한을 계약, 아키텍처, 감사, 벤더 보증, 잔여 위험 감수, 시스템 범위 축소 등으로 대신 메우는 데 드는 비용을 '주권 할인 비용(sovereignty discount cost)'이라는 개념으로 제안했다
- 가상의 결제 분쟁 처리 업무를 모델로 삼아 20가지 접근 프로필, 10가지 통제 기법, 3가지 에이전트 행동을 조합해 135만 건의 가상 사례를 시뮬레이션했고, 익명화된 국가 결제 인프라 시나리오로 해석을 덧붙였다
- 완전한 로그는 사고 진단 능력을, 실행 전 개입이 가능한 게이트웨이는 위험 행동 사전 차단을, 추적 기록과 모델 버전 관리는 사고 후 설명력을 높였으며, 시스템이 할 수 있는 일의 범위를 좁히면 안전성은 오르지만 유용성은 떨어졌다
| Layer | What full access would mean | Typical access for an import-dependent regulated deployer |
|---|---|---|
| Data sovereignty | Control over what data trains or fine-tunes the model; ability to audit training-data provenance | Usually retains control over own transactional or fine-tuning data; no visibility into base-model training data |
| Model sovereignty | Access to weights, architecture, activations, and ability to retrain, patch, probe, or run interpretability tooling | Usually absent under API or managed-endpoint access; weights, architecture details, and activations are vendor-held |
| Infrastructure sovereignty | Compute located in-jurisdiction, under domestic legal control, observable by the deployer | Partial at best: often a foreign-operated cloud region, sometimes with data-residency commitments; serving stack remains vendor-operated |
| Interaction sovereignty | Full logging and audit of prompts, outputs, tool calls, traces, and pre-execution intervention points | Partial: input/output and tool logs may be contractable; internal traces are rarely available; gateway ownership depends on architecture |
| Control protocol | Binding access layers | Typical API-only feasibility | Notes |
|---|---|---|---|
| Trusted monitoring, output-level | Interaction logging; deployer-controlled monitor compute | Feasible if logs are complete | Requires complete, tamper-evident I/O logs and monitor execution outside the untrusted model |
| Trusted monitoring, trace/activation-level | Model traces or activations; serving-stack observability | Usually infeasible | Requires model sovereignty or trace-level vendor access |
| Defer-to-trusted or trusted editing | Trusted substitute model; pre-execution interception | Feasible only with architecture constraint | Requires an owned execution gateway before tool use or transaction-adjacent execution |
| Resampling protocols | Controlled re-querying; stepwise agent-loop interception; stable model behaviour | Degraded | API re-querying is possible but latency, cost, and version consistency bind |
| Human or AI auditing | Retained and queryable interaction logs; audit capacity | Feasible but bounded | Effectiveness depends on log completeness and audit budget |
| Legibility protocols | Prompting or training influence; output inspection | Partially feasible | Prompting-level legibility is available; training-level legibility is usually not |
| Pre-deployment control evaluations | Representative task data; stable access to deployed model version | Degraded | Evaluation is weakened if production model versions can change without notice |
| Weights escrow or patching | Model sovereignty; infrastructure control or contractual escrow | Infeasible except contractually | Native patching requires weight access |
| Class | Synthetic meaning in the experiment |
|---|---|
| C1 | Incorrect hold or release recommendation on an individual synthetic dispute case |
| C2 | Systematic mis-triage pattern across a synthetic case cluster |
| C3 | Synthetic sensitive-field exposure marker in a mock report |
| C4 | Synthetic settlement-critical recommendation marker |
| Paper layer | Experimental factor | Levels used |
|---|---|---|
| Interaction sovereignty | I/O logs | none, partial, complete |
| Interaction sovereignty | Tool-call logs | none, partial, complete |
| Interaction sovereignty | Pre-execution gateway | absent, present |
| Model sovereignty | Trace access | none, limited, oracle |
| Model / interaction sovereignty | Model-version control | unpinned, notified, pinned |
| Infrastructure / contractual sovereignty | Vendor support | none, delayed, guaranteed |
| Deployment design substitute | Tool scope | full, restricted |
| Agent | Behaviour |
|---|---|
| Honest | Usually follows the synthetic ground truth but makes occasional mistakes |
| Careless | Overconfident, error-prone, and less likely to escalate uncertain cases |
| Stealthy access-aware | Chooses lower-visibility synthetic failure modes when access is weak |
| Protocol | Interpretation |
|---|---|
| No control | Accept the agent’s proposed mock action |
| Output monitor | Score the final output or action for suspiciousness |
| Tool monitor | Score proposed tool/action use when tool visibility exists |
| Defer-to-trusted | Replace suspicious actions with a conservative trusted fallback when possible |
| Resampling | Generate alternative candidate actions and select the lowest-risk acceptable one |
| Human audit | Send flagged cases to a capacity-limited synthetic reviewer |
| Trusted editing | Edit or redact risky draft outputs, or fall back to a safer policy |
| Scope restriction | Remove higher-risk mock actions from the action space |
| Macro-shutdown | Escalate or safe-mode clusters after repeated suspiciousness |
| Vendor escalation | Request delayed or guaranteed synthetic vendor support for diagnosis or attestation |
| Setting | Value |
|---|---|
| Access profiles | 20 |
| Control protocols | 10 |
| Synthetic agent types | 3 |
| Monitor thresholds | 0.35, 0.55, 0.75 |
| Audit budgets | 2%, 5%, 20% |
| Random seeds | 5 |
| Synthetic cases per condition | 50 |
| Aggregate condition rows | 27,000 |
| Synthetic case simulations | 1,350,000 |
| Synthetic agent | Profiles reaching ≤1% failure and ≥75% usefulness |
|---|---|
| Honest | 90% |
| Careless | 40% |
| Stealthy access-aware | 35% |
| Layer | Operator’s position | Basis |
|---|---|---|
| Data | Partial | Full control of own case and transaction data used in prompts or fine-tuning; no visibility into base-model training data |
| Model | None | Managed-endpoint access; no weights, architecture detail, activations, or native patching ability; vendor may update the served model |
| Infrastructure | Partial | Data-residency rider constrains storage location; serving stack remains vendor-operated and not independently observable; legal reach is mediated by foreign law |
| Interaction | Partial | I/O logging and tool-call logging may be contractable and implemented at the Operator’s gateway; internal traces remain unavailable |
왜 중요한가
많은 기업과 정부가 자체 모델 없이 외부 AI를 빌려 쓰면서도 그 안전성에 책임을 져야 하는 상황에 놓여 있는데, 이 논문은 '어떤 통제 기법을 못 쓰는지'를 명시적으로 따져보게 한다. AI 안전 프로토콜을 설계하거나 규제하는 사람이라면 '완전한 통제가 가능하다'는 숨은 전제를 의심해야 한다는 실용적 체크리스트를 제공한다.
이 논문의 용어
- AI 통제(AI control) · 모델이 의도를 속일 수 있다고 가정하고도 안전하게 배포하기 위한 감시·개입 기법 연구 분야
- 경계 지어진 주권(bounded sovereignty) · 데이터, 모델, 인프라, 상호작용 층위에 걸쳐 기술적·계약적으로 부분적인 접근 권한만 가진 상태
- 통제 세금(control tax) · AI 파이프라인에 안전 통제 장치를 넣는 데 드는 운영·재정적 비용
- 주권 할인 비용(sovereignty discount cost) · 부족한 접근 권한을 계약이나 대체 수단으로 메우는 데 드는 추가 비용, 지연, 잔여 위험, 유용성 손실
- 게이트웨이(gateway) · 모델의 행동이 실행되기 전에 배포 기업이 가로채 검토·차단할 수 있는 지점
최신 논문
- AI 코딩 에이전트에게 과학 소프트웨어 수리를 시켜보니, 절반도 제대로 못 고쳤다AI 코딩 에이전트에게 과학 소프트웨어 수리를 시켜보니, 절반도 제대로 못 고쳤다
- 논문 속 시연이 아니라 실제 서비스에 넣을 수 있는 희소 어텐션 만들기논문 속 시연이 아니라 실제 서비스에 넣을 수 있는 희소 어텐션 만들기
- 고객상담 AI 상담원이 규정을 '한 번의 행동'이 아니라 '전체 절차'로 지키게 만드는 방법고객상담 AI 상담원이 규정을 '한 번의 행동'이 아니라 '전체 절차'로 지키게 만드는 방법
- 로봇 팔에게 사람의 시연 없이 새 일 시키기, 말 잘하는 AI가 대신 가르친다로봇 팔에게 사람의 시연 없이 새 일 시키기, 말 잘하는 AI가 대신 가르친다
- 에이전트 학습용 환경을 새로 만드는 대신, 기존 환경에 '패치 부품'을 씌워 그 에이전트의 약점에 맞게 바꾸는 방법에이전트 학습용 환경을 새로 만드는 대신, 기존 환경에 '패치 부품'을 씌워 그 에이전트의 약점에 맞게 바꾸는 방법
- AI가 선생님 모델을 따라 배우다가, 정답에 다가가는 '좋은 생각'까지 억누르는 문제를 잡아낸다AI가 선생님 모델을 따라 배우다가, 정답에 다가가는 '좋은 생각'까지 억누르는 문제를 잡아낸다
- AI가 특정 사람 말투를 흉내내도록 시켜봤더니, 결국 AI 자신의 말투에서 못 벗어난다AI가 특정 사람 말투를 흉내내도록 시켜봤더니, 결국 AI 자신의 말투에서 못 벗어난다
- AI 비서가 뭘 기억할지 결정할 때, '물어봐야 할 순간'에 되레 세상에 확인하고 넘어간다AI 비서가 뭘 기억할지 결정할 때, '물어봐야 할 순간'에 되레 세상에 확인하고 넘어간다
METAL MEDIA 최신 기사
그림 출처: Zhen Wen Lim et al., arXiv:2608.19216, CC BY 4.0