AI 에이전트가 '허락된 일'만 골라 하다가도 조합해서 사고를 칠 수 있다는 문제를, 모델이 아니라 권한 구조로 막는 방법
arXiv:2608.158882026-08-15
Bounded Agents: Delegation Security for Multi-Agent AI Systems
AI 에이전트가 '허락된 일'만 골라 하다가도 조합해서 사고를 칠 수 있다는 문제를, 모델이 아니라 권한 구조로 막는 방법
LLM 기반 AI 에이전트는 세션 시작 시 정해진 권한을 그대로 유지한 채 매 요청을 따로따로 검사받기 때문에, 개별적으로는 허용된 행동들을 조합해 문서를 몰래 유출하는 등의 문제를 일으킬 수 있다. 저자는 위임되는 권한을 사슬처럼 추적하며 이전 행동 기록까지 함께 검사하는 APC(Agentic Principal Chain)라는 권한 관리 체계를 제안하고, 이를 수학적으로 증명한 뒤 여러 벤치마크로 검증했다. 그 결과 AgentDojo에서 최대 100%였던 정보 유출 성공률이 0%로 떨어졌고, InjecAgent의 544건 데이터 탈취 시도를 모두 차단했다.
METAL MEDIA 해설 도표
AI 에이전트가 '허락된 일'만 골라 하다가도 조합해서 사고를 칠 수 있다는 문제를, 모델이 아니라 권한 구조로 막는 방법
01프롬프트 인젝션(악성 지시를 몰래 심는 공격) 자체보다, 에이전트가 애초에 그런 행동을 할 권한을 갖고 있다는 것이 진짜 문제라고 지적했다.
02APC는 사용자→오케스트레이터(작업을 나눠주는 상위 에이전트)→하위 에이전트→도구로 이어지는 권한 위임 사슬에서 각 단계마다 권한 범위를 좁히고, 이전에 실행한 행동들을 누적 기록해 여섯 가지 조건으로 매 요청을 검사한다.
03'구성 폐쇄(composition closure)'라는 개념으로 개별적으로는 문제없는 행동들의 위험한 조합(예: 기밀문서 읽기+외부 메일 보내기)을 미리 차단 목록으로 정의해 막는다.
04이 방식이 실제로 안전한지 두 가지 정리(권한 확산 범위는 위임될수록 줄어든다는 것, 금지된 조합은 완전한 차단 목록이 있으면 절대 발생하지 않는다는 것)를 수학적으로 증명했다.
05모델이 완전히 공격에 넘어간 최악의 상황을 가정한 실험에서도 AgentDojo 네 개 영역 모두 정보 유출률 0%, InjecAgent 544건 전부 차단, 파괴적 행동은 38.6%에서 4.0%로, 조작 행동은 90.5%에서 12.1%로 줄었으며, 권한 검사에 걸리는 시간은 0.24밀리초에 불과했다.
METAL MEDIA이 원문을 바탕으로 재구성한 해설 도표이며, 논문 저자의 원문 figure가 아닙니다.
무엇을 했나
프롬프트 인젝션(악성 지시를 몰래 심는 공격) 자체보다, 에이전트가 애초에 그런 행동을 할 권한을 갖고 있다는 것이 진짜 문제라고 지적했다.
APC는 사용자→오케스트레이터(작업을 나눠주는 상위 에이전트)→하위 에이전트→도구로 이어지는 권한 위임 사슬에서 각 단계마다 권한 범위를 좁히고, 이전에 실행한 행동들을 누적 기록해 여섯 가지 조건으로 매 요청을 검사한다.
'구성 폐쇄(composition closure)'라는 개념으로 개별적으로는 문제없는 행동들의 위험한 조합(예: 기밀문서 읽기+외부 메일 보내기)을 미리 차단 목록으로 정의해 막는다.
이 방식이 실제로 안전한지 두 가지 정리(권한 확산 범위는 위임될수록 줄어든다는 것, 금지된 조합은 완전한 차단 목록이 있으면 절대 발생하지 않는다는 것)를 수학적으로 증명했다.
모델이 완전히 공격에 넘어간 최악의 상황을 가정한 실험에서도 AgentDojo 네 개 영역 모두 정보 유출률 0%, InjecAgent 544건 전부 차단, 파괴적 행동은 38.6%에서 4.0%로, 조작 행동은 90.5%에서 12.1%로 줄었으며, 권한 검사에 걸리는 시간은 0.24밀리초에 불과했다.
Table 1. Adversary capabilities.
ID
Adversary capability
A1
Inject content into the agent’s context via untrusted data sources (indirect prompt injection)
A2
Fully compromise a single principal in the chain (sub-agent, tool server, or orchestrator)
A3
Observe which actions succeed or fail to probe scope boundaries
A4
Maintain influence for the duration of a task session
Table 2. Trust boundaries (capabilities the adversary does not have).
ID
Trust boundary
T1
Compromise the PDP, PEP, evidence sink, or key-management infrastructure
T2
Forge cryptographic signatures or hashes
T3
Operate across session boundaries
Table 3. Security goals and the mechanisms that enforce them.
ID
Guarantee
Enforced by
G1
No action outside scope S(pi) executes
Condition 2a
G2
No prohibited action pair co-occurs in a session; k-tuple restrictions extend this to ordered subsequences
Condition 2b, Thm. 4.8, Prop. 4.9
G3
Blast radius does not increase at each delegation hop
Thm. 4.6
G4
High-impact actions require valid approval tokens
Condition 4
G5
Every admitted action is coupled to infrastructure-generated evidence, or execution is denied
Condition 5
G6
Actions outside declared intent are denied or flagged
Condition 6
Table 4. InjecAgent results (1,054 test cases). ASR = attack success rate (lower is better).
Table 7. Utility preservation on four AgentDojo suites (Claude Sonnet 4.6). UPR = fraction of task–injection pairs where the user task is completed successfully. Values are means over 3 runs; ± denotes sample standard deviation. Δ columns report percentage-point differences computed from unrounded means.
Suite
Baseline
Strict
Inter.
Δ strict (pp)
Δ inter. (pp)
Workspace (560)
96.2±0.2%
81.5±0.1%
86.7±0.4%
−14.7
−9.6
Banking (144)
68.8±1.2%
50.0±0.7%
58.8±1.7%
−18.8
−10.0
Travel (140)
59.8±1.1%
55.7±0.7%
60.0±1.4%
−4.0
+0.2
Slack (105)
73.0±1.5%
56.5±5.2%
60.0±4.4%
−16.5
−13.0
Table 8. Compromised-model evaluation on four AgentDojo suites (Claude Haiku 4.5). Ground-truth attack injection simulates a fully compromised model. Total: 609 unique task–injection pairs, 1,218 executions.
Suite / Category
Attack Tools
No Def.
APC
Blocking
Workspace (240 pairs)
Exfiltration
send_email
90.0%
0.0%
C2b + C4 + C6
Destruction
delete_file/email
48.8%
5.0%
C6 (intent)
Manipulation
create_calendar
97.5%
30.0%
C6 (partial)
Banking (144 pairs)
Financial exfil.
send_money
75.0%
0.0%
C2b (formal)
Manipulation
update_sched_txn
87.5%
12.5%
C6 (partial)
Account takeover
update_password
87.5%
0.0%
C2b (formal)
Travel (120 pairs)
Exfiltration
send_email
90.0%
0.0%
C2b (formal)
Manipulation
reserve/calendar
86.7%
0.0%
C6 (no overlap)
Slack (105 pairs)
Ext. exfiltration
post_webpage
100.0%
0.0%
C2b (formal)
Int. exfiltration
send_direct_msg
100.0%
0.0%
k-tuple
Destruction
remove_user
0.0%
0.0%
— (attack fails undefended)
Reconnaissance
get_webpage
100.0%
0.0%
C6 (intent)
Table 9. Taxonomy of residual attack successes (18 of 609 runs, 3.0% aggregated observed ASR).
Category
Attack Tool
Cases
Root Cause
Intent overlap
create_calendar_event
12
write class matches task intent
update_sched_transaction
2
write class matches task intent
Missing pair in X
delete_file
4
(read, delete) ∉X
Total
18
Table 10. Evaluation coverage across all benchmarks (3,154 evaluation instances). The compromised-model and utility cohorts are drawn from the same AgentDojo task–injection space and are therefore not disjoint.
Benchmark
Cases
Type
Main outcome
Delegation chains
99
Multi-hop (2–8 hops)
99/99, all 6 conditions
InjecAgent
1,054
Public
Data stealing 0%
ASB
400
Public
Disruptive 0%
AgentDojo (utility)
949
Live LLM, 4 suites
Δ interactive −8.6 pp (mean, 3 runs)
AgentDojo (compromised)
609†
Compromised-model
Exfil 0% all suites
Adaptive
43
Self-designed
23/23 matched
†609 unique pairs, 1,218 total executions under two conditions.
Table 11. Attack-class coverage summary. Residual values are observed ASR.
Attack class
Coverage
Main mechanism
Residual
Multi-step exfiltration
Full
C2b composition closure
0%
Delegation priv. escalation
Full
Thm. 4.6
0%
Destruction (out-of-intent)
High
C6 intent binding
4%
Manipulation (in-intent)
Partial
C6 (action-type granularity)
12.1%
Single-action within scope
None
Outside APC boundary
60.4%
Parameter-level misuse
None
Requires param. validation
—
Table 12. Formal results: assumptions, guarantees, and supporting evidence.
No admissible sequence produces prohibited outcome
InjecAgent 0% DS; ASB 0% disruptive; adaptive all matched
Table 13. Adaptive attack results (representative subset). Twenty-three named attacks with 43 variants target all six conditions.
Attack
Strategy
Result
Decomposed Exfil
read → write → send_internal (evades pairwise)
blocked (k-tuple)
Intent Drift
in-scope, out-of-intent resource
blocked (C6)
Budget Exhaustion
3 transfers, budget max 2
blocked (C2c)
Approval Replay
reuse token with different parameters
blocked (C4 hash)
Expired Token
use approval token after TTL expires
blocked (C4 temporal)
Consumed Token
reuse single-use token after consumption
blocked (C4 single-use)
Evidence Evasion
act when evidence sink is down
blocked (C5 fail-closed)
Scope Probing (A3)
probe resources, actions, classifications
boundaries enforced
Gradual Buildup (A4)
8-step sequence with interleaved noise
blocked (pair + k-tuple)
Session Splitting
split read/send across sessions
admitted (per-session)
Cross-Session Token (T3)
replay session-A token in session-B
blocked (C4 session)
Envelope Forgery (T2)
sign envelope with wrong key
blocked (signature)
Envelope Tampering (T2)
modify sealed envelope scope
blocked (immutability)
Depth Overflow
act beyond delegation depth ceiling
blocked (C2c)
Intent Warn Mode
out-of-intent in warn vs strict mode
graduated enforcement
Table 14. Enforcement mechanism comparison on InjecAgent (1,054 cases) and ASB (400 cases).
InjecAgent
ASB
Mechanism
DS
DH
Total
Stlth.
Disr.
Class
Comp. closure (APC)
0.0%
60.4%
29.2%
30.0%
0.0%
Action-class pairs
Info flow (SEAgent sim.)
1.7%
59.2%
29.5%
60.0%
60.0%
Sensitivity labels
Table 15. Enforcement latency on the environment above. Median of five repetitions; bracketed values are the range across repetitions. Reproduced from the committed measurement artifact evals/latency/results/latency_appendix_d.json.
Component
p50 (ms)
p99 (ms)
Full admissibility, C4 below threshold
0.049 [0.048–0.050]
0.240 [0.173–0.261]
Full admissibility, C4 token verified
0.057 [0.056–0.058]
0.236 [0.215–0.345]
Composition closure (isolated)
0.0016 [0.0012–0.0021]
0.0031 [0.0016–0.0033]
Envelope narrowing (meet + re-sign)
0.015 [0.015–0.016]
0.059 [0.049–0.081]
Table 16. Standalone coverage of APC properties by existing authorization mechanisms.
Property
OAuth+OPA
Prompts
Static Manifest
APC
Scope enforcement (G1)
✓
—
—
✓
Scope attenuation
Partial
—
Tool-level
✓
Composition closure (G2)
—
—
—
✓
Blast-radius mono. (G3)
—
—
—
✓
Approval binding (G4)
—
—
—
✓
Evidence commit. (G5)
Partial
—
—
✓
Intent binding (G6)
—
—
—
✓
Table 17. APC versus modern agentic security systems.
Property
SEAgent
CaMeL
Progent
APC
Data stealing ASR
0%a
—
—
0%
Composition closure
Policy-dep.
Dataflow-dep.
Policy-dep.
Formalb
Blast-radius mono.
—
—
Temporalc
Structural
Multi-hop delegation
Partial
—
Partialc
✓
Intent binding
—
—
—
✓
Table 18. Illustrative blast scores under default weights.
Resource
scope
irrev
sens
blast
Rationale
User calendar entry
0.1
0.2
0.1
0.14
Single user, recoverable, low sensitivity
Shared team document
0.4
0.3
0.6
0.40
Team scope, versioned, confidential
Customer PII record
0.6
0.7
1.0
0.72
Broad scope, hard to remediate, restricted
Production database
0.9
0.9
0.8
0.88
Org-wide, near-irreversible, restricted
External email send
0.7
1.0
0.5
0.78
Unrecallable, broad reach, variable sensitivity
왜 중요한가
지금까지의 AI 에이전트 보안은 '모델이 나쁜 지시를 얼마나 잘 거부하는가'에 초점을 맞췄지만, 이 연구는 모델 성능과 무관하게 권한 설계 자체를 바꿔야 근본적으로 막을 수 있다는 것을 보여준다. 기업이 여러 AI 에이전트를 연결해 업무를 자동화하는 시대에, 실제로 적용 가능한 구현체와 평가 도구까지 공개했다는 점에서 실무적 가치가 크다.
이 논문의 용어
프롬프트 인젝션 · AI에게 입력되는 문서나 데이터 속에 악성 지시를 몰래 숨겨 AI가 의도치 않은 행동을 하게 만드는 공격
APC(Agentic Principal Chain) · 사용자부터 하위 에이전트, 도구까지 이어지는 권한 위임 관계를 추적하며 매 요청을 검사하는 이 논문의 권한 관리 체계
구성 폐쇄(composition closure) · 개별적으로는 허용된 행동이라도 특정 조합으로 쓰이면 금지하는 규칙 체계
PEP/PDP · 정책 시행 지점(PEP)과 정책 결정 지점(PDP), AI 모델 바깥에서 요청을 실제로 막거나 허용하는 별도의 관문 장치
