AI 챗봇에 넣기 전에 이름·주소를 자동으로 지워주는 오픈소스 도구, 지워도 성능은 그대로였다
AI 챗봇에 넣기 전에 이름·주소를 자동으로 지워주는 오픈소스 도구, 지워도 성능은 그대로였다
Redakto는 텍스트를 대형언어모델(LLM)에 넣기 전에 이름, 주소 같은 개인식별정보(PII)를 자동으로 찾아 가리거나 다른 이름으로 바꿔주는 오픈소스 도구다. 이메일, 임상 기록, 법률 문서 세 분야 데이터로 성능을 검증했고, 웹 화면과 개발자용 API, LLM 비서가 바로 쓸 수 있는 연결 규격(MCP)까지 제공한다. 실험 결과 정보를 지운 텍스트로도 의료 의도 분류나 인권 침해 판정 같은 후속 작업의 정확도가 원본과 큰 차이 없이 유지됐다.
METAL MEDIA 해설 도표
AI 챗봇에 넣기 전에 이름·주소를 자동으로 지워주는 오픈소스 도구, 지워도 성능은 그대로였다
- 01독일 이메일 데이터(CodE Alltag)와 법률 문서(LER)에서는 개인정보 탐지 정확도(macro F1)가 약 0.95에 달했고, 데이터가 적은 임상 문서(GraSCCo)에서는 성능이 더 낮았는데, 이는 모델 구조보다 학습 데이터 부족이 원인으로 분석됐다
- 02이름·날짜·기관명 등을 지우는 방식을 의미상 비슷한 말로 바꾸기, 무작위 마스킹, 일반 마스킹 세 가지로 나눠 비교했고, 의미상 비슷한 말로 바꾸는 방식이 원본 성능을 가장 잘 유지했다
- 03의료 대화에서 의사의 발화 의도를 분류하는 과제와 유럽인권재판소 판결문에서 인권 침해 여부를 예측하는 과제 두 가지로 '정보를 지운 텍스트가 실제로 쓸모 있는지'를 직접 검증했다
- 04문서 안에 개인정보가 아주 많이 섞여 있어도(문서당 평균 86개, 많으면 수백 개) 성능 저하는 주로 문서 길이 때문이지 정보를 지우는 작업 자체 때문은 아니었다
- 05Streamlit 화면과 FastAPI 서버로 이루어진 시스템을 Docker와 쿠버네티스로 자체 서버에 설치할 수 있고, 코드와 모델을 모두 공개했다
무엇을 했나
- 독일 이메일 데이터(CodE Alltag)와 법률 문서(LER)에서는 개인정보 탐지 정확도(macro F1)가 약 0.95에 달했고, 데이터가 적은 임상 문서(GraSCCo)에서는 성능이 더 낮았는데, 이는 모델 구조보다 학습 데이터 부족이 원인으로 분석됐다
- 이름·날짜·기관명 등을 지우는 방식을 의미상 비슷한 말로 바꾸기, 무작위 마스킹, 일반 마스킹 세 가지로 나눠 비교했고, 의미상 비슷한 말로 바꾸는 방식이 원본 성능을 가장 잘 유지했다
- 의료 대화에서 의사의 발화 의도를 분류하는 과제와 유럽인권재판소 판결문에서 인권 침해 여부를 예측하는 과제 두 가지로 '정보를 지운 텍스트가 실제로 쓸모 있는지'를 직접 검증했다
- 문서 안에 개인정보가 아주 많이 섞여 있어도(문서당 평균 86개, 많으면 수백 개) 성능 저하는 주로 문서 길이 때문이지 정보를 지우는 작업 자체 때문은 아니었다
- Streamlit 화면과 FastAPI 서버로 이루어진 시스템을 Docker와 쿠버네티스로 자체 서버에 설치할 수 있고, 코드와 모델을 모두 공개했다
| Model | Prec | Rec | F1 |
|---|---|---|---|
| xlm-roberta-large | 0.9442 ±0.0 | 0.9358 ±0.0 | 0.9399 ±0.0 |
| gelectra-large | 0.9433 ±0.0 | 0.9371 ±0.0 | 0.9401 ±0.0 |
| bert-base-german-cased | 0.9251 ±0.0 | 0.9160 ±0.0 | 0.9204 ±0.0 |
| Model | Prec | Rec | F1 |
|---|---|---|---|
| xlm-roberta-large | 0.94 | 0.95 | 0.94 |
| gelectra-large | 0.95 | 0.96 | 0.95 |
| bert-base-german-cased | 0.95 | 0.94 | 0.95 |
| Version | Text |
|---|---|
| Original | miss edwards is here for evaluation of facial pain this is a 54-year-old female |
| Semantic Label Masking | miss [PERSON] is here for evaluation of facial pain this is a [DATE] female |
| Random Masking | miss lhyZXSX is here for evaluation of facial pain this is a vejE4fPRUxkG female |
| Generic Masking | miss XXXX is here for evaluation of facial pain this is a XXXX female |
| Redaction Strategy | xlm-roberta-large | bert-large-cased | electra-large-discri. |
|---|---|---|---|
| No Redaction | 0.86 ±0.01 | 0.85 ±0.01 | 0.84 ±0.01 |
| Semantic Label Masking | 0.86 ±0.01 | 0.84 ±0.01 | 0.82 ±0.02 |
| Random Masking | 0.85 ±0.01 | 0.82 ±0.02 | 0.82 ±0.01 |
| Generic Masking | 0.84 ±0.02 | 0.85 ±0.01 | 0.82 ±0.02 |
왜 중요한가
유럽연합의 개인정보 관련 법 때문에 병원, 법률, 행정 기관이 LLM을 쓰기 꺼려하는 상황에서, 정보를 지워도 작업 품질이 떨어지지 않는다는 근거를 실제 실험으로 보여준 점이 의미가 있다. 자체 서버에 설치 가능한 오픈소스로 공개되어 있어 개인정보를 외부로 보내지 않고도 LLM을 안전하게 활용하려는 개발자와 연구자가 바로 가져다 쓸 수 있다.
이 논문의 용어
- 개인식별정보(PII) · 이름, 주소, 생년월일처럼 특정 개인을 알아볼 수 있게 하는 정보
- 대형언어모델(LLM) · 방대한 텍스트로 학습되어 문장을 이해하고 생성하는 AI 모델
- 가명처리(pseudonymization) · 개인정보를 지우는 대신 다른 이름이나 표시로 바꿔 원문 흐름은 유지하는 방식
- Model Context Protocol(MCP) · LLM 비서나 에이전트가 외부 도구를 직접 호출해 쓸 수 있게 해주는 연결 규격
- macro F1 · 여러 항목 각각의 정확도를 평균 낸 값으로, 특정 항목에 치우치지 않고 전체 성능을 재는 지표
본문에 싣지 못한 그림
- Figure 5: Entity density wise performance (Macro-F1) comparison for different redaction strategies (electra-large-discriminator)
최신 논문
- AI 코딩 에이전트에게 과학 소프트웨어 수리를 시켜보니, 절반도 제대로 못 고쳤다AI 코딩 에이전트에게 과학 소프트웨어 수리를 시켜보니, 절반도 제대로 못 고쳤다
- 논문 속 시연이 아니라 실제 서비스에 넣을 수 있는 희소 어텐션 만들기논문 속 시연이 아니라 실제 서비스에 넣을 수 있는 희소 어텐션 만들기
- 고객상담 AI 상담원이 규정을 '한 번의 행동'이 아니라 '전체 절차'로 지키게 만드는 방법고객상담 AI 상담원이 규정을 '한 번의 행동'이 아니라 '전체 절차'로 지키게 만드는 방법
- 로봇 팔에게 사람의 시연 없이 새 일 시키기, 말 잘하는 AI가 대신 가르친다로봇 팔에게 사람의 시연 없이 새 일 시키기, 말 잘하는 AI가 대신 가르친다
- 에이전트 학습용 환경을 새로 만드는 대신, 기존 환경에 '패치 부품'을 씌워 그 에이전트의 약점에 맞게 바꾸는 방법에이전트 학습용 환경을 새로 만드는 대신, 기존 환경에 '패치 부품'을 씌워 그 에이전트의 약점에 맞게 바꾸는 방법
- AI 모델을 '소유'하지 못한 조직은 안전 통제도 절반밖에 못 한다AI 모델을 '소유'하지 못한 조직은 안전 통제도 절반밖에 못 한다
- AI가 선생님 모델을 따라 배우다가, 정답에 다가가는 '좋은 생각'까지 억누르는 문제를 잡아낸다AI가 선생님 모델을 따라 배우다가, 정답에 다가가는 '좋은 생각'까지 억누르는 문제를 잡아낸다
- AI가 특정 사람 말투를 흉내내도록 시켜봤더니, 결국 AI 자신의 말투에서 못 벗어난다AI가 특정 사람 말투를 흉내내도록 시켜봤더니, 결국 AI 자신의 말투에서 못 벗어난다
METAL MEDIA 최신 기사
그림 출처: Saurav Kumar Saha et al., arXiv:2608.18260, CC BY-SA 4.0