K-文化的一切——从回归到 K-美妆,发送到您的邮箱订阅邮件

METAL MEDIA

The Deontic Gap: Large Language Models and the Modal Language of Obligation

arXiv:2608.181442026-08-20

AI写的文字很少像人类那样说'你应该'或'你必须'

研究团队在多个大型文本语料库中,比较了AI生成文本和人类写作中must、should、have to等表示义务的词汇使用频率。结果显示,AI文本中这类'积极义务情态词'的使用率始终低于人类,尤其是should、have to、had to、can't这类个人化、口语化的表达差距最大。相反,AI在need to、must等更正式、程序化的表达上与人类相当甚至更多使用,而且AI文本整体的义务词密度更接近老式正式出版书籍的英语,而不是当代人类的日常写作风格。

METAL MEDIA 解读图

AI写的文字很少像人类那样说'你应该'或'你必须'

  1. 01研究比较了GPT-4o、ChatGPT生成的文本,以及在更大范围验证中包括Claude、Gemini、DeepSeek、Qwen、Llama和Mistral等十一种AI模型生成的文本,与配对的人类写作(涵盖新闻体叙事、问答、小说、学生作文等体裁)。
  2. 02统计了具体的义务词汇:'积极'类如must、should、have to、had to、need to,'消极'类如can't、cannot、shouldn't,以及impossible等不可能性表达。
  3. 03在全部四个主要语料库中,AI使用积极义务词的频率均低于人类(例如学生作文中每万词25.3次对52.9次,是差距最大的一项)。
  4. 04将情态词使用率与超过一个世纪的出版书籍数据(Google Books,1920-2022年)对比后发现,AI的义务词使用频率落在老式正式书面英语的范围内,而当代人类——尤其是在随性的小说写作中——使用这类词汇的频率甚至超过了整个20世纪的出版书籍。
  5. 05AI使用不足的主要集中在should、have to、had to、can't这类个人化、口语化的义务表达上,而在need to、must、cannot这类正式、任务导向的表达上AI与人类相当甚至更多;但在说服性学生作文这一体裁中,连need to也出现例外,AI的使用率大幅低于人类。
这是 METAL MEDIA 制作的解读图,并非论文作者提供的原图。

他们做了什么

  1. 研究比较了GPT-4o、ChatGPT生成的文本,以及在更大范围验证中包括Claude、Gemini、DeepSeek、Qwen、Llama和Mistral等十一种AI模型生成的文本,与配对的人类写作(涵盖新闻体叙事、问答、小说、学生作文等体裁)。
  2. 统计了具体的义务词汇:'积极'类如must、should、have to、had to、need to,'消极'类如can't、cannot、shouldn't,以及impossible等不可能性表达。
  3. 在全部四个主要语料库中,AI使用积极义务词的频率均低于人类(例如学生作文中每万词25.3次对52.9次,是差距最大的一项)。
  4. 将情态词使用率与超过一个世纪的出版书籍数据(Google Books,1920-2022年)对比后发现,AI的义务词使用频率落在老式正式书面英语的范围内,而当代人类——尤其是在随性的小说写作中——使用这类词汇的频率甚至超过了整个20世纪的出版书籍。
  5. AI使用不足的主要集中在should、have to、had to、can't这类个人化、口语化的义务表达上,而在need to、must、cannot这类正式、任务导向的表达上AI与人类相当甚至更多;但在说服性学生作文这一体裁中,连need to也出现例外,AI的使用率大幅低于人类。

为什么重要

随着人们越来越多地阅读AI生成的建议、邮件和说明文字,AI表达(或回避表达)义务的特定方式可能会潜移默化地改变读者对'什么是必须做的'与'什么只是建议'的认知。这对使用AI撰写说明、政策或建议的人来说很重要,因为AI这种正式、委婉的表达方式,与人类惯用的直接、个人化的义务语言相比,所承载的社会和道德分量并不相同。

本文术语

  • 义务情态词(deontic modal) · 如must、should、have to这类表达责任或必要性而非单纯可能性的词汇
  • 积极/消极义务情态词 · 积极形式表明存在义务(must、should),消极形式否认或禁止某事(can't、shouldn't)
  • Google Books Ngram语料库 · 追踪1920年至2022年间出版书籍中词语和短语出现频率的大型数据集,本研究用作历史参照基准
  • 提示词匹配复现实验 · 让AI和人类针对完全相同的写作主题(提示词)作答,以排除主题差异对结果的影响的受控实验方法
  • 泊松广义线性混合模型 · 一种统计方法,用于在考虑文档长度和提示词差异的情况下比较AI与人类的词汇使用频率

论文原文摘要(英文)

Modal auxiliaries such as must, should, and have to mark necessity and obligation within the contexts of speaker authority and interpersonal stance. We examine whether large language models (LLMs) reproduce contemporary human patterns of deontic modal usage. Across three primary corpora, an external benchmark, two controlled replications, and a naturalistic eleven-model replication, AI-generated text consistently underuses positive deontic modals (must, should, have to, had to) relative to contemporary humans. Historical comparison with the Google Books Ngram corpus (1920-2022), used as a heuristic calibration against the published-prose record, shows that AI modal frequencies fall within the range of formal published English, whereas contemporary human modal rates in informal digital contexts often exceed twentieth-century book baselines. Phrase-level decomposition shows that the AI-human modal gap is concentrated in constructions central to interpersonal stance (should, have to, had to), while AI matches or exceeds humans on need to in instructional and question-answering contexts but not in persuasive student writing, indicating that the modal profile is genre-conditional. The findings suggest that LLM modal usage reflects the formal written resources on which these models were trained, while underusing the modal constructions through which contemporary human writers mark immediate, interpersonal obligation.

作者 · Daniel Hart, Sarah Allred, Joseph Abbas, Morenike Alugo

在 arXiv 阅读

最新论文

全部论文 →

METAL MEDIA 最新报道