AI가 쓰는 글은 사람처럼 '해야 한다', '~해야만 해'라고 잘 말하지 않는다
AI가 쓰는 글은 사람처럼 '해야 한다', '~해야만 해'라고 잘 말하지 않는다
연구팀은 여러 대규모 텍스트 자료에서 AI가 쓴 글과 사람이 쓴 글이 must, should, have to 같은 의무를 나타내는 단어를 얼마나 쓰는지 비교했다. AI가 쓴 글은 사람 글보다 이런 '긍정적 의무 표현'을 일관되게 적게 썼는데, 특히 should, have to, had to, can't처럼 개인적이고 구어체적인 표현에서 차이가 컸다. 반면 need to, must 같은 격식체·절차적 표현은 AI가 사람과 비슷하거나 더 많이 썼고, AI 글 전체의 의무 표현 빈도는 오늘날 사람 글보다 오히려 옛날 출판 서적의 격식체 영어와 더 비슷했다.
METAL MEDIA 해설 도표
AI가 쓰는 글은 사람처럼 '해야 한다', '~해야만 해'라고 잘 말하지 않는다
- 01GPT-4o, ChatGPT, 그리고 추가 검증에서는 Claude, Gemini, DeepSeek, Qwen, Llama, Mistral 등 11개 AI 모델이 만든 글을, 뉴스 스타일 서사, 질의응답, 소설, 학생 에세이 등 짝지어진 사람 글과 비교했다.
- 02must, should, have to, had to, need to 같은 '긍정 의무 표현'과 can't, cannot, shouldn't 같은 '부정 의무 표현', impossible 같은 불가능 표현의 빈도를 단어 만 단위당 횟수로 세었다.
- 03네 개 주요 자료 모두에서 AI는 사람보다 긍정 의무 표현을 적게 썼다(학생 에세이에서는 만 단어당 25.3회 대 52.9회로 가장 큰 격차가 나타났다).
- 041920년부터 2022년까지의 출판 서적 자료(Google Books)와 비교하니, AI의 의무 표현 빈도는 옛날 격식체 책 영어의 범위 안에 들어갔지만, 오늘날 사람들, 특히 캐주얼한 소설 글쓰기에서는 20세기 책보다도 더 자주 이런 표현을 썼다.
- 05AI가 적게 쓴 표현은 should, have to, had to, can't처럼 개인적이고 대화체적인 의무 표현에 집중됐고, need to, must, cannot 같은 격식체·과업 중심 표현은 AI가 사람과 비슷하거나 더 많이 썼다. 다만 설득형 학생 에세이에서는 예외적으로 need to조차 AI가 사람보다 훨씬 적게 썼다.
무엇을 했나
- GPT-4o, ChatGPT, 그리고 추가 검증에서는 Claude, Gemini, DeepSeek, Qwen, Llama, Mistral 등 11개 AI 모델이 만든 글을, 뉴스 스타일 서사, 질의응답, 소설, 학생 에세이 등 짝지어진 사람 글과 비교했다.
- must, should, have to, had to, need to 같은 '긍정 의무 표현'과 can't, cannot, shouldn't 같은 '부정 의무 표현', impossible 같은 불가능 표현의 빈도를 단어 만 단위당 횟수로 세었다.
- 네 개 주요 자료 모두에서 AI는 사람보다 긍정 의무 표현을 적게 썼다(학생 에세이에서는 만 단어당 25.3회 대 52.9회로 가장 큰 격차가 나타났다).
- 1920년부터 2022년까지의 출판 서적 자료(Google Books)와 비교하니, AI의 의무 표현 빈도는 옛날 격식체 책 영어의 범위 안에 들어갔지만, 오늘날 사람들, 특히 캐주얼한 소설 글쓰기에서는 20세기 책보다도 더 자주 이런 표현을 썼다.
- AI가 적게 쓴 표현은 should, have to, had to, can't처럼 개인적이고 대화체적인 의무 표현에 집중됐고, need to, must, cannot 같은 격식체·과업 중심 표현은 AI가 사람과 비슷하거나 더 많이 썼다. 다만 설득형 학생 에세이에서는 예외적으로 need to조차 AI가 사람보다 훨씬 적게 썼다.
왜 중요한가
사람들이 AI가 만든 조언, 이메일, 설명글을 점점 더 많이 읽게 되면서, AI가 의무를 표현하는(또는 회피하는) 특정 방식이 독자가 '무엇이 의무이고 무엇이 단순 권유인지'를 인식하는 방식을 은근히 바꿀 수 있다. 이는 AI로 안내문, 정책, 조언을 작성하는 사람들에게 중요한데, AI의 격식체적이고 완곡한 표현 방식은 사람이 흔히 쓰는 직접적이고 개인적인 의무 표현과는 다른 사회적·도덕적 무게를 갖기 때문이다.
이 논문의 용어
- 의무 양상(deontic modal) · must, should, have to처럼 단순 가능성이 아니라 의무나 필요성을 나타내는 단어
- 긍정/부정 의무 표현 · 긍정형은 의무가 있음을 나타내고(must, should), 부정형은 의무를 부정하거나 금지함을 나타낸다(can't, shouldn't)
- Google Books Ngram 자료 · 1920년부터 2022년까지 출판된 책에서 단어와 구절이 얼마나 자주 등장했는지 추적한 대규모 데이터로, 여기서는 역사적 기준선으로 사용됐다
- 프롬프트 매칭 재현 실험 · AI와 사람이 완전히 동일한 글쓰기 주제(프롬프트)에 답하게 하여, 결과 차이가 주제 차이 때문이 아님을 확인하는 통제된 실험 방식
- 포아송 일반화 선형 혼합모형 · 문서 길이와 프롬프트 차이를 고려하면서 AI와 사람의 단어 사용 빈도를 비교하기 위해 쓰인 통계 기법
최신 논문
- AI 코딩 에이전트에게 과학 소프트웨어 수리를 시켜보니, 절반도 제대로 못 고쳤다AI 코딩 에이전트에게 과학 소프트웨어 수리를 시켜보니, 절반도 제대로 못 고쳤다
- 논문 속 시연이 아니라 실제 서비스에 넣을 수 있는 희소 어텐션 만들기논문 속 시연이 아니라 실제 서비스에 넣을 수 있는 희소 어텐션 만들기
- 고객상담 AI 상담원이 규정을 '한 번의 행동'이 아니라 '전체 절차'로 지키게 만드는 방법고객상담 AI 상담원이 규정을 '한 번의 행동'이 아니라 '전체 절차'로 지키게 만드는 방법
- 로봇 팔에게 사람의 시연 없이 새 일 시키기, 말 잘하는 AI가 대신 가르친다로봇 팔에게 사람의 시연 없이 새 일 시키기, 말 잘하는 AI가 대신 가르친다
- 에이전트 학습용 환경을 새로 만드는 대신, 기존 환경에 '패치 부품'을 씌워 그 에이전트의 약점에 맞게 바꾸는 방법에이전트 학습용 환경을 새로 만드는 대신, 기존 환경에 '패치 부품'을 씌워 그 에이전트의 약점에 맞게 바꾸는 방법
- AI 모델을 '소유'하지 못한 조직은 안전 통제도 절반밖에 못 한다AI 모델을 '소유'하지 못한 조직은 안전 통제도 절반밖에 못 한다
- AI가 선생님 모델을 따라 배우다가, 정답에 다가가는 '좋은 생각'까지 억누르는 문제를 잡아낸다AI가 선생님 모델을 따라 배우다가, 정답에 다가가는 '좋은 생각'까지 억누르는 문제를 잡아낸다
- AI가 특정 사람 말투를 흉내내도록 시켜봤더니, 결국 AI 자신의 말투에서 못 벗어난다AI가 특정 사람 말투를 흉내내도록 시켜봤더니, 결국 AI 자신의 말투에서 못 벗어난다