The Deontic Gap: Large Language Models and the Modal Language of Obligation
AI写的文字很少像人类那样说'你应该'或'你必须'
研究团队在多个大型文本语料库中,比较了AI生成文本和人类写作中must、should、have to等表示义务的词汇使用频率。结果显示,AI文本中这类'积极义务情态词'的使用率始终低于人类,尤其是should、have to、had to、can't这类个人化、口语化的表达差距最大。相反,AI在need to、must等更正式、程序化的表达上与人类相当甚至更多使用,而且AI文本整体的义务词密度更接近老式正式出版书籍的英语,而不是当代人类的日常写作风格。
METAL MEDIA 解读图
AI写的文字很少像人类那样说'你应该'或'你必须'
- 01研究比较了GPT-4o、ChatGPT生成的文本,以及在更大范围验证中包括Claude、Gemini、DeepSeek、Qwen、Llama和Mistral等十一种AI模型生成的文本,与配对的人类写作(涵盖新闻体叙事、问答、小说、学生作文等体裁)。
- 02统计了具体的义务词汇:'积极'类如must、should、have to、had to、need to,'消极'类如can't、cannot、shouldn't,以及impossible等不可能性表达。
- 03在全部四个主要语料库中,AI使用积极义务词的频率均低于人类(例如学生作文中每万词25.3次对52.9次,是差距最大的一项)。
- 04将情态词使用率与超过一个世纪的出版书籍数据(Google Books,1920-2022年)对比后发现,AI的义务词使用频率落在老式正式书面英语的范围内,而当代人类——尤其是在随性的小说写作中——使用这类词汇的频率甚至超过了整个20世纪的出版书籍。
- 05AI使用不足的主要集中在should、have to、had to、can't这类个人化、口语化的义务表达上,而在need to、must、cannot这类正式、任务导向的表达上AI与人类相当甚至更多;但在说服性学生作文这一体裁中,连need to也出现例外,AI的使用率大幅低于人类。
他们做了什么
- 研究比较了GPT-4o、ChatGPT生成的文本,以及在更大范围验证中包括Claude、Gemini、DeepSeek、Qwen、Llama和Mistral等十一种AI模型生成的文本,与配对的人类写作(涵盖新闻体叙事、问答、小说、学生作文等体裁)。
- 统计了具体的义务词汇:'积极'类如must、should、have to、had to、need to,'消极'类如can't、cannot、shouldn't,以及impossible等不可能性表达。
- 在全部四个主要语料库中,AI使用积极义务词的频率均低于人类(例如学生作文中每万词25.3次对52.9次,是差距最大的一项)。
- 将情态词使用率与超过一个世纪的出版书籍数据(Google Books,1920-2022年)对比后发现,AI的义务词使用频率落在老式正式书面英语的范围内,而当代人类——尤其是在随性的小说写作中——使用这类词汇的频率甚至超过了整个20世纪的出版书籍。
- AI使用不足的主要集中在should、have to、had to、can't这类个人化、口语化的义务表达上,而在need to、must、cannot这类正式、任务导向的表达上AI与人类相当甚至更多;但在说服性学生作文这一体裁中,连need to也出现例外,AI的使用率大幅低于人类。
为什么重要
随着人们越来越多地阅读AI生成的建议、邮件和说明文字,AI表达(或回避表达)义务的特定方式可能会潜移默化地改变读者对'什么是必须做的'与'什么只是建议'的认知。这对使用AI撰写说明、政策或建议的人来说很重要,因为AI这种正式、委婉的表达方式,与人类惯用的直接、个人化的义务语言相比,所承载的社会和道德分量并不相同。
本文术语
- 义务情态词(deontic modal) · 如must、should、have to这类表达责任或必要性而非单纯可能性的词汇
- 积极/消极义务情态词 · 积极形式表明存在义务(must、should),消极形式否认或禁止某事(can't、shouldn't)
- Google Books Ngram语料库 · 追踪1920年至2022年间出版书籍中词语和短语出现频率的大型数据集,本研究用作历史参照基准
- 提示词匹配复现实验 · 让AI和人类针对完全相同的写作主题(提示词)作答,以排除主题差异对结果的影响的受控实验方法
- 泊松广义线性混合模型 · 一种统计方法,用于在考虑文档长度和提示词差异的情况下比较AI与人类的词汇使用频率
论文原文摘要(英文)
Modal auxiliaries such as must, should, and have to mark necessity and obligation within the contexts of speaker authority and interpersonal stance. We examine whether large language models (LLMs) reproduce contemporary human patterns of deontic modal usage. Across three primary corpora, an external benchmark, two controlled replications, and a naturalistic eleven-model replication, AI-generated text consistently underuses positive deontic modals (must, should, have to, had to) relative to contemporary humans. Historical comparison with the Google Books Ngram corpus (1920-2022), used as a heuristic calibration against the published-prose record, shows that AI modal frequencies fall within the range of formal published English, whereas contemporary human modal rates in informal digital contexts often exceed twentieth-century book baselines. Phrase-level decomposition shows that the AI-human modal gap is concentrated in constructions central to interpersonal stance (should, have to, had to), while AI matches or exceeds humans on need to in instructional and question-answering contexts but not in persuasive student writing, indicating that the modal profile is genre-conditional. The findings suggest that LLM modal usage reflects the formal written resources on which these models were trained, while underusing the modal constructions through which contemporary human writers mark immediate, interpersonal obligation.
在 arXiv 阅读最新论文
- SWE-bench Science: Can Coding Agents Resolve Engineering Tasks in Science?让AI编程助手去修复真实科学软件,连最强的那个也有一半以上任务没做对
- FlashPrefill V2: Block-Sparse Prefill Attention for Long-Context LLM Serving把稀疏注意力从论文原型变成能真正上线服务的加速方案
- PolicyGuide: From Guarding One Action to Guiding the Whole Workflow for Policy-Compliant LLM Agents让客服AI坐席不只是拦住一个危险动作,而是把整个流程走对
- EXIMO: VLM Guided Exploration of VLA Policies不用人工遥控演示,让会说话的AI来教机械臂做新家务
- EnvHarness: Awakening Static Worlds for Agent Learning不重新搭建训练环境,而是给现有环境套一层可插拔组件,针对每个智能体的具体弱点重新塑形
- Bounded Sovereignty and the Control Tax: Pricing AI Oversight When the Deployer Does Not Own the Model租用AI而非拥有AI的机构,安全监管能力只剩一半
- Beyond Imitation: Filtering On-Policy Distillation by Reasoning ProgressAI模仿老师模型学习时,会误伤本来推理正确的步骤,新方法专门过滤掉这种误伤
- PersonalBench: Measuring the Authorship Gap in LLM Personalization让AI模仿某人的文风,结果发现它始终摆脱不了自己的腔调