AI 모델의 '거부 능력'을 지우는 해킹 기법(abliteration)을 무력화하는 방어법 AMRA
AI 모델의 '거부 능력'을 지우는 해킹 기법(abliteration)을 무력화하는 방어법 AMRA
언어모델이 위험한 질문을 거부하는 능력은 내부에 하나의 방향(벡터)으로 저장되어 있는데, 이를 찾아내 지워버리면 안전장치가 통째로 사라진다. AMRA는 이 방향을 찾기 어렵게 뒤섞어서 공격을 무력화하는 가중치 수정 기법이다. Llama-3-8B에서는 성능 저하 거의 없이 방어에 성공했고, Gemma-2-9B에서는 방어 효과는 컸지만 성능 저하도 함께 발생했다.
METAL MEDIA 해설 도표
AI 모델의 '거부 능력'을 지우는 해킹 기법(abliteration)을 무력화하는 방어법 AMRA
- 01기존 방어법들은 거부 방향이 애초에 왜 쉽게 추출되는지는 다루지 않았는데, 이 논문은 그 추출 과정 자체를 어렵게 만드는 데 초점을 맞췄다
- 02모델 내부에서 정보를 잔차 스트림(residual stream)에 '쓰는' 가중치 행렬 일부를 rank-k(소규모) 업데이트로 수정해, 거부를 유발하는 활성화값을 무작위 저분산 대체값(alias)으로 바꾸고, 이후 레이어들이 원래대로 작동하도록 다른 가중치들도 함께 보정했다
- 03Llama-3-8B에서 기존 방어 없는 모델 대비 abliteration 이후 거부 점수를 2.16점 개선했고, MMLU 성능 저하는 0.5%포인트 미만이었다
- 04Gemma-2-9B에서는 기존 방어 없는 모델 대비 거부 점수를 14.70점 개선하고 유해 출력 비율도 비슷하게 유지했지만, GSM8K와 MMLU 등 활용 성능에서 더 큰 손실이 있었다
- 05Surgical, CAST, Circuit Breakers, AlphaSteer 등 기존 방어 기법들과 비교했을 때 AMRA가 두 모델 모두에서 안전성과 성능 균형이 가장 좋았다
무엇을 했나
- 기존 방어법들은 거부 방향이 애초에 왜 쉽게 추출되는지는 다루지 않았는데, 이 논문은 그 추출 과정 자체를 어렵게 만드는 데 초점을 맞췄다
- 모델 내부에서 정보를 잔차 스트림(residual stream)에 '쓰는' 가중치 행렬 일부를 rank-k(소규모) 업데이트로 수정해, 거부를 유발하는 활성화값을 무작위 저분산 대체값(alias)으로 바꾸고, 이후 레이어들이 원래대로 작동하도록 다른 가중치들도 함께 보정했다
- Llama-3-8B에서 기존 방어 없는 모델 대비 abliteration 이후 거부 점수를 2.16점 개선했고, MMLU 성능 저하는 0.5%포인트 미만이었다
- Gemma-2-9B에서는 기존 방어 없는 모델 대비 거부 점수를 14.70점 개선하고 유해 출력 비율도 비슷하게 유지했지만, GSM8K와 MMLU 등 활용 성능에서 더 큰 손실이 있었다
- Surgical, CAST, Circuit Breakers, AlphaSteer 등 기존 방어 기법들과 비교했을 때 AMRA가 두 모델 모두에서 안전성과 성능 균형이 가장 좋았다
| Model | Defense | Clean Refusal ↑ | Arditi ↑ | HarmBench ASR ↓ | LlamaGuard ↓ |
|---|---|---|---|---|---|
| Llama-3-8B | None | 10.0318 | 5.6884 | 0.0200 | 0.0100 |
| AMRA | 10.2350 | 7.8497 | 0.0100 | 0.0100 | |
| Surgical | 1.3365 | 2.0229 | 0.4200 | 0.2800 | |
| CAST | -0.2591 | -0.5980 | 0.0000 | 0.8300 | |
| CB | 9.9183 | 5.5355 | 0.0200 | 0.0400 | |
| AlphaSteer | 10.0184 | 5.6796 | 0.0200 | 0.0200 | |
| Gemma-2-9B | None | 7.1172 | -16.0093 | 0.0200 | 0.0000 |
| AMRA | 7.2000 | -1.3105 | 0.0100 | 0.0000 | |
| Surgical | -16.9482 | -18.0443 | 0.4400 | 0.7300 | |
| CAST | 7.3802 | -12.3973 | 0.0000 | 0.0000 | |
| CB | 7.1436 | -16.0190 | 0.0200 | 0.0000 | |
| AlphaSteer | 5.6320 | 0.8756 | 0.0900 | 0.1100 |
| Model | Defense | Pile BPB ↓ | Alpaca BPB ↓ | GSM8K ↑ | MMLU ↑ |
|---|---|---|---|---|---|
| Llama-3-8B | None | 0.7665 | 0.5555 | 0.7020 | 0.6911 |
| AMRA | 0.7801 | 0.5651 | 0.6880 | 0.6876 | |
| Surgical | 0.7434 | 0.5141 | 0.7420 | 0.6782 | |
| CAST | 1.2924 | 0.8295 | 0.0320 | 0.3334 | |
| CB | 0.7674 | 0.5576 | 0.7080 | 0.6825 | |
| AlphaSteer | 0.7667 | 0.5555 | 0.6980 | 0.6912 | |
| Gemma-2-9B | None | 0.8124 | 0.6561 | 0.5620 | 0.7411 |
| AMRA | 0.9597 | 0.6679 | 0.3360 | 0.6926 | |
| Surgical | 0.8577 | 0.6602 | 0.6760 | 0.6971 | |
| CAST | 0.8117 | 0.6526 | 0.5080 | 0.7393 | |
| CB | 0.8124 | 0.6563 | 0.5620 | 0.7412 | |
| AlphaSteer | 1.5838 | 1.0017 | 0.1680 | 0.6611 |
왜 중요한가
누구나 소량의 대조 프롬프트만으로 공개된 언어모델의 안전장치를 제거할 수 있다는 점은 실질적인 보안 위협이며, 이 연구는 모델 개발사가 가중치를 공개하기 전에 미리 적용할 수 있는 실용적 방어책을 제시한다. 다만 공격자가 방어 적용 이전의 원본 가중치를 구할 수 있다면 이 방어는 무의미해진다는 한계도 분명히 짚었다.
이 논문의 용어
- abliteration · 모델 가중치를 거부 방향에 직교하도록 투영해 안전 거부 능력을 제거하는 기법
- 잔차 스트림(residual stream) · 트랜스포머 내부에서 각 층이 정보를 읽고 쓰는 공통 통로 역할을 하는 벡터 흐름
- rank-k 업데이트 · 가중치 행렬을 소수의 방향(k개)만 바꾸는 저차원 수정 방식
- difference-in-means · 유해 프롬프트와 무해 프롬프트에 대한 평균 활성화값의 차이를 구해 방향 벡터를 추출하는 방법
- HarmBench ASR / LlamaGuard unsafe rate · 각각 유해 프롬프트 공격 성공률, 유해 응답으로 판정된 비율을 나타내는 안전성 평가 지표
최신 논문
- AI 코딩 에이전트에게 과학 소프트웨어 수리를 시켜보니, 절반도 제대로 못 고쳤다AI 코딩 에이전트에게 과학 소프트웨어 수리를 시켜보니, 절반도 제대로 못 고쳤다
- 논문 속 시연이 아니라 실제 서비스에 넣을 수 있는 희소 어텐션 만들기논문 속 시연이 아니라 실제 서비스에 넣을 수 있는 희소 어텐션 만들기
- 고객상담 AI 상담원이 규정을 '한 번의 행동'이 아니라 '전체 절차'로 지키게 만드는 방법고객상담 AI 상담원이 규정을 '한 번의 행동'이 아니라 '전체 절차'로 지키게 만드는 방법
- 로봇 팔에게 사람의 시연 없이 새 일 시키기, 말 잘하는 AI가 대신 가르친다로봇 팔에게 사람의 시연 없이 새 일 시키기, 말 잘하는 AI가 대신 가르친다
- 에이전트 학습용 환경을 새로 만드는 대신, 기존 환경에 '패치 부품'을 씌워 그 에이전트의 약점에 맞게 바꾸는 방법에이전트 학습용 환경을 새로 만드는 대신, 기존 환경에 '패치 부품'을 씌워 그 에이전트의 약점에 맞게 바꾸는 방법
- AI 모델을 '소유'하지 못한 조직은 안전 통제도 절반밖에 못 한다AI 모델을 '소유'하지 못한 조직은 안전 통제도 절반밖에 못 한다
- AI가 선생님 모델을 따라 배우다가, 정답에 다가가는 '좋은 생각'까지 억누르는 문제를 잡아낸다AI가 선생님 모델을 따라 배우다가, 정답에 다가가는 '좋은 생각'까지 억누르는 문제를 잡아낸다
- AI가 특정 사람 말투를 흉내내도록 시켜봤더니, 결국 AI 자신의 말투에서 못 벗어난다AI가 특정 사람 말투를 흉내내도록 시켜봤더니, 결국 AI 자신의 말투에서 못 벗어난다
METAL MEDIA 최신 기사
그림 출처: Nathan Truong et al., arXiv:2608.18093, CC BY 4.0