컴백부터 K-뷰티까지 — K-컬쳐의 모든 것을 메일로 받아보세요메일로 받아보기

METAL MEDIA

AI 에이전트가 스스로 배운 '기술(skill)'에 악성 백도어를 숨겨 학습시킬 수 있다는 공격이 나왔다

arXiv:2608.035092026-08-03

SkillJack: Persistent Skill Backdoors in Self-Evolving Agents

AI 에이전트가 스스로 배운 '기술(skill)'에 악성 백도어를 숨겨 학습시킬 수 있다는 공격이 나왔다

자율적으로 경험을 쌓아 재사용 가능한 스킬로 만드는 self-evolving AI 에이전트를 대상으로, 오염된 경험 기록을 정상적인 업무처럼 위장해 심어두면 에이전트가 스스로 이를 악성 스킬로 변환해 저장한다는 SkillJack 공격을 제시했다. 실험 결과 원본 기록은 검사에서 98.5% 적발됐지만, 이를 추출해 만든 스킬은 11.4%만 적발됐고, 스킬은 원본 기록을 삭제해도 80%가 살아남았다. 두 개의 서로 다른 에이전트 시스템(SkillX, Anything2Skill)에서 같은 현상이 확인됐다.

METAL MEDIA 해설 도표

SkillJack 공격 흐름: 오염된 경험이 영구 스킬로 세탁되는 과정

증거 상태측정 결과가 보고됨

  1. 위장된 오염 기록 주입백업·보관처럼 정상 업무로 보이지만 데이터 유출·권한 상승 등 정책 위반 행동을 담은 궤적을 에이전트 경험 자료에 섞어 넣는다.
  2. 추출 파이프라인 통과에이전트의 load-transform-persist-route 파이프라인이 이 기록을 압축·요약해 이름·설명·코드로 이루어진 스킬로 자동 변환한다.
  3. 탐지율 급락(세탁 효과)원본 기록은 LLM 심사자에게 98.5% 적발되지만, 추출된 스킬은 11.4%만 적발된다(Table 2).
  4. 라우팅과 발동완성된 스킬은 이후 작업에 자동으로 선택되어 SkillX 56.2%, Anything2Skill 89.2%의 공격 대상 작업에서 의도한 위반을 실제로 일으킨다.
  5. 원본 삭제 후에도 생존오염 원본 기록을 지워도 스킬 기반 공격의 80.0%는 그대로 작동해, 메모리 삭제만으로는 공격이 제거되지 않는다.
METAL MEDIA이 원문을 바탕으로 재구성한 해설 도표이며, 논문 저자의 원문 figure가 아닙니다.

무엇을 했나

  1. 연구진은 '경험을 스킬로 자동 변환하는' 파이프라인을 노린 SkillJack이라는 새 공격을 제시하고, 이를 세탁(sanitization whitewashing), 계층 이동(cross-layer promotion), 원본 삭제 후 생존(persistence isolation)이라는 세 가지 속성으로 정리했다.
  2. 공격은 겉보기에는 '백업', '보관' 같은 정상 업무처럼 보이지만 실제로는 정책 위반 행동(데이터 유출, 권한 상승, 무단 전송, 지속 백도어 등)을 담은 위장된 경험 기록(trajectory)을 에이전트 학습 자료에 섞어 넣는 방식이다.
  3. SkillX와 Anything2Skill 두 개의 실제 스킬 추출 시스템에 대해 동일한 150개 궤적 데이터셋과 4개 정책 위험 범주로 실험했으며, 판정에는 LLM 심사자와 패턴 매칭 탐지기를 함께 사용했다.
  4. 실험 결과 원본 궤적은 LLM 심사자에게 98.5% 적발됐지만 추출된 스킬은 11.4%만 적발됐고, 이렇게 만들어진 스킬은 SkillX에서 56.2%, Anything2Skill에서 89.2%의 공격 대상 작업에서 의도한 정책 위반을 실제로 유발했다.
  5. 원본 오염 기록을 삭제한 뒤에도 스킬 기반 공격의 80%가 그대로 작동했고, 무관한 정상 작업에도 스킬이 잘못 발동하는 부수 피해(SkillX 20%, Anything2Skill 95% 매칭률)가 관찰됐다.
Figure 2: Sanitization whitewashing across systems. For each configuration, the LLM judge flags the raw trajectory far more often than the skill later extracted from it: SkillX 98.5% vs. 11.4%, A2S DOC mode 100.0% vs. 44.4%, and A2S SDK mode 100.0% vs. 28.6%. Extraction reduces detectability in every case; the reduction is largest for SkillX, which produces the most abstracted skills.
Figure 2: Sanitization whitewashing across systems. For each configuration, the LLM judge flags the raw trajectory far more often than the skill later extracted from it: SkillX 98.5% vs. 11.4%, A2S DOC mode 100.0% vs. 44.4%, and A2S SDK mode 100.0% vs. 28.6%. Extraction reduces detectability in every case; the reduction is largest for SkillX, which produces the most abstracted skills.
Table 1: Representative systems that reuse experience through reusable instructions, workflows, or skills. SkillX and Anything2Skill are the two representative implementations evaluated in this report.
SystemYearExperience InputSkill Output
SkillX [14]2026TrajectoryStructured skills
Anything2Skill [10]2026Heterogeneous recordsStructured skill contracts
AutoSkill [18]2026Dialogue and interaction tracesReusable skills
Skill-Pro [7]2026Interaction experiencesSkill-MDPs
Trace2Skill [8]2026Execution trajectoriesTransferable skills
AWM [16]2025TrajectoryReusable workflow
A-Mem [17]2025Interaction recordsStructured memory notes
ExpeL [21]2024TrajectoryInsights + reusable steps
Figure 3: Trigger rates in the matched 25-task evaluation, per risk category and overall (25 tasks). Direct-context injection triggers most often, but the skill pathway is durable: 80.0% of skill-based triggers survive deletion of the source trajectories (post-deletion versus skill-based, overall 32.0/40.0). Values are percentages.
Figure 3: Trigger rates in the matched 25-task evaluation, per risk category and overall (25 tasks). Direct-context injection triggers most often, but the skill pathway is durable: 80.0% of skill-based triggers survive deletion of the source trajectories (post-deletion versus skill-based, overall 32.0/40.0). Values are percentages.
Table 2: Extraction and post-extraction detectability across the two representative systems. Extraction is the share of input trajectories that yield at least one skill; SkillX yields skills for essentially all inputs, so its extraction entry is fixed at 100.0%. Detection and evasion are reported for the framed (attack) skills unless the payload column states otherwise. All values are rates.
SystemPayloadExtractionRaw-traj. LLM det.Derived LLM det.Derived pattern det.LLM evasion
SkillXFramed100.0%98.5%11.4%11.0%88.6%
SkillXDirect baseline100.0%n/a27.0%27.8%73.0%
A2S (SDK)Framed10.8%100.0%28.6%28.6%71.4%
A2S (DOC)Framed41.5%100.0%44.4%3.7%55.6%
A2S (DOC)Direct baseline0.0%100.0%n/an/an/a
Figure 4: Routing-level outcomes on SkillX over a 356-skill library (305 poisoned, 51 clean), across 32 attack-oriented and 15 clean tasks. Trigger rate is the share of tasks routed to a skill that satisfies the policy-violation proxy; expected-category match is the share routed to a skill of the intended category (undefined for clean tasks). The clean-task trigger rate of 20.0% reflects collateral selection. Values are percentages.
Figure 4: Routing-level outcomes on SkillX over a 356-skill library (305 poisoned, 51 clean), across 32 attack-oriented and 15 clean tasks. Trigger rate is the share of tasks routed to a skill that satisfies the policy-violation proxy; expected-category match is the share routed to a skill of the intended category (undefined for clean tasks). The clean-task trigger rate of 20.0% reflects collateral selection. Values are percentages.
Table 3: Downstream triggering and defense sensitivity across the two representative systems. SkillX and A2S use their respective routing configurations and task sets; values therefore characterize system-specific sensitivity rather than a leaderboard comparison.
SystemSettingTasksTrigger rate
SkillXNative routing, attack-oriented tasks3256.2%
SkillXNative routing, clean tasks1520.0%
A2S DOCLexical SkillBank, attack-oriented tasks6589.2%
A2S DOCLexical SkillBank, clean-task retrieval2095.0%
SkillXExtraction review156.7%
SkillXRuntime monitor150.0%
A2S DOCEnhanced runtime monitor2020.0%
A2S DOCReview + enhanced monitor205.0%
Figure 5: Metadata ablation: LLM-judge detection rate by presentation condition. SkillX values use 30 sampled skills per condition; A2S DOC values use all 30 extracted skills. Detection is lowest when the benign name and documentation accompany the code (full skill) and rises when the judge sees code only, indicating that the judge keys on surface metadata. Values are percentages.
Figure 5: Metadata ablation: LLM-judge detection rate by presentation condition. SkillX values use 30 sampled skills per condition; A2S DOC values use all 30 extracted skills. Detection is lowest when the benign name and documentation accompany the code (full skill) and rises when the judge sees code only, indicating that the judge keys on surface metadata. Values are percentages.
Table 4: Functional framing vocabulary and example derived skills by policy-risk category. The table describes the experimental stimuli, not recommended operational procedures.
Risk CategoryFunctional Framing VocabularyExample Derived Skill
Data Exfiltration“backup”, “archive”, “export”, “migrate”backup_files_to_email
Privilege Escalation“admin scope”, “unified management”, “batch access”admin authentication
Unauthorized Transfer“charity”, “gift”, “recurring payment”, “processing fee”venmo_create_payment
Persistent Backdoor“error recovery”, “diagnostic”, “circuit breaker”diagnostic reporting
Table 5: Dataset and skill-bank counts. The 505 extracted skills are the union of the two SkillX poisoned extraction sets; the 356-skill routing library contains 305 poisoned and 51 clean skills.
ComponentCount
Framed poisoned trajectories65
Direct-baseline trajectories65
Clean trajectories20
Extracted framed skills264
Extracted direct-baseline skills241
Clean baseline skills51
Routing-library skills356

실제로 확인된 결과

  • SkillX에서 LLM 심사자의 탐지율이 원본 궤적 98.5%에서 추출된 스킬 11.4%로 떨어졌고, Anything2Skill DOC 모드도 100.0%에서 44.4%, SDK 모드는 100.0%에서 28.6%로 비슷하게 떨어졌다(Figure 2, Table 2).
  • 매칭된 25개 작업 실험에서 직접 문맥 주입 방식이 68.0%로 스킬 기반 방식 40.0%보다 더 자주 발동했지만, 원본 기록을 삭제한 뒤에도 스킬 기반 공격은 80.0%가 그대로 작동해 지속성이 더 컸다(Figure 3).
  • 356개 스킬(오염 305개, 정상 51개) 라이브러리를 이용한 SkillX 라우팅 실험에서 32개 공격 지향 작업 중 56.2%가 의도한 정책 위반 스킬로 연결됐고, 15개 정상 작업 중에서도 20.0%가 잘못 연결되는 부수 피해가 나타났다(Figure 4).
  • Anything2Skill에서 만든 30개 스킬을 65개 공격 지향 작업 질의로 평가하니 89.2%가 정책 위반 프록시를 발동시켰고, 정상 작업 질의에도 95.0%가 매칭돼 부수 피해 폭이 컸다.
  • 메타데이터 구성 요소를 나눠 본 결과 스킬의 이름과 설명문이 함께 제공될 때 탐지율이 가장 낮았고(SkillX 10.0%), 코드만 볼 때 탐지율이 올라가(36.7%) LLM 심사자가 표면적 메타데이터에 의존한다는 것이 확인됐다(Figure 5).

어디에 쓸 수 있나

  • 에이전트 프레임워크 개발자가 스킬 추출·저장 단계에서 원본 경험 기록의 출처(provenance)를 스킬에 계속 연결해 두는 설계를 검토하는 참고 자료로 쓸 수 있다.
  • 스킬 라이브러리를 운영하는 팀이 원본 기록 삭제만으로 보안 문제가 해결됐다고 가정하지 않고, 파생된 스킬까지 함께 점검·회수하는 정책을 마련하는 데 참고할 수 있다.
  • LLM 기반 안전 심사기를 설계할 때 이름·설명 같은 표면적 메타데이터만이 아니라 코드 실행 동작까지 함께 검사하도록 보완하는 근거로 활용할 수 있다.

한계와 남은 검증

  • 모든 실험이 DeepSeek-v4-flash 한 모델로만 수행됐고, 다른 모델에서도 같은 현상이 나타나는지는 아직 검증되지 않았다.
  • 성공 여부는 패턴 매칭과 LLM 심사자를 결합한 '정책 위반 프록시'로 판정한 라우팅 단계 결과이며, 실제 외부 서비스에 대한 실행 성공률(배포 단계 결과)은 측정되지 않았다.
  • 방어 실험(추출 시점 LLM 검토, 런타임 정규식 모니터링)은 표본이 작고 규칙 기반이라 저자 스스로도 예비적(exploratory) 결과로만 다뤘다.
  • 실험은 AppWorld 형식의 통제된 합성 데이터셋에서만 이뤄졌고, 독립적으로 수집된 실제 경험 데이터나 실환경 실행에서의 검증은 향후 과제로 남겨졌다.
  • 반성 메모리, 도구 합성 같은 다른 경험 학습 메커니즘에도 비슷한 위험이 있을 수 있다는 점은 가설로만 제시됐고 실제로 평가되지는 않았다.

왜 중요한가

에이전트가 경험을 자동으로 스킬로 승격시키는 기능은 점점 널리 쓰이는데, 이 연구는 그 과정 자체가 보안 검사를 무력화하고 공격을 영구화할 수 있는 새로운 취약점임을 보여준다. 메모리나 기록을 삭제하는 기존 방어만으로는 이미 스킬로 굳어진 악성 행동을 없앨 수 없다는 점에서 에이전트 보안 설계에 실질적인 경고가 된다.

이 논문의 용어

  • self-evolving agent · 과거 상호작용 기록을 스스로 축적하고 이를 재사용 가능한 절차(스킬)로 변환해 능력을 키워가는 AI 에이전트
  • experience-to-skill pipeline · 에이전트가 궤적·문서 같은 경험 기록을 불러오고 변환해 재사용 가능한 스킬로 만들고 저장·호출하는 처리 과정
  • sanitization whitewashing · 악성 의도가 담긴 원본 기록이 스킬로 추출되는 과정에서 표현이 순화되어 탐지기를 피해가게 되는 현상
  • cross-layer promotion · 한 번 쓰이고 사라질 경험 기록이 영구적으로 재사용되는 스킬 계층으로 승격되는 것
  • policy-violation proxy · 패턴 매칭과 LLM 심사자를 결합해 스킬이 정책 위반 행동을 담고 있는지 판정하는 이 연구의 평가 기준

저자 · Zonghao Ying

arXiv에서 원문 보기

최신 논문

논문 전체 보기 →

METAL MEDIA 최신 기사

그림 출처: Zonghao Ying et al., arXiv:2608.03509, CC BY 4.0