K-文化的一切——从回归到 K-美妆，发送到您的邮箱订阅邮件

METAL MEDIA

Position: Behavioral Systems Require Behavioral Tests

arXiv:2608.180812026-08-20

评价AI智能体不能只看结果,还要看它到底是怎么做到的

AI智能体正越来越多地作为“行为系统”与动态环境互动、追求目标并随时间调整,但目前的评估方法大多只关注成功与否这样的结果指标,而忽视了产生这些结果的行为过程。本文借鉴心理学、动物行为学、行为经济学等行为科学的经验,主张应像研究其他行为系统一样,通过系统性的观察、扰动和解读来评估AI智能体的行为。作者提出了三个研究方向,并给出一个把行为发现转化为更好策略设计并反复检验的反馈闭环。

METAL MEDIA 解读图

评价AI智能体不能只看结果,还要看它到底是怎么做到的

  1. 01论文以“殊途同归”(equifinality)现象开篇:两个谈判者可能分别靠说服和靠威胁达成同样有利的结果,说明只看结果的指标会掩盖背后完全不同的行为方式。
  2. 02论文梳理了理性主义、经验主义、行为主义、动物行为学(廷伯根的四个问题)、行为经济学(启发式偏差、助推理论)等行为科学的历史,指出单一的成功率指标在自然语言处理测试、连续控制、分布式系统等多个领域都曾被证明无法区分行为迥异的系统。
  3. 03论文将问题形式化:两个策略可能在评估指标M上得分完全相同,却在某种属性(如稳健性或策略)上不同;行为测试就是从轨迹分析中构造出一个辅助函数B,用来揭示这种被指标掩盖的差异。
  4. 04论文提出三个优先研究方向:从动作序列中自动推断决策策略的方法、支持受控反事实干预的系统化实验环境、以及研究多智能体相互适应产生的新现象的框架。
  5. 05论文呼吁研究者开发可扩展的策略推断工具、设计支持干预测试的基准,以及建立多智能体研究方法;呼吁业界把行为审计纳入部署流程,并提出一个反馈闭环(图2):行为测试发现的问题可转化为奖励设计或约束条件,更新后的策略再重新接受行为测试检验。
这是 METAL MEDIA 制作的解读图，并非论文作者提供的原图。

他们做了什么

  1. 论文以“殊途同归”(equifinality)现象开篇:两个谈判者可能分别靠说服和靠威胁达成同样有利的结果,说明只看结果的指标会掩盖背后完全不同的行为方式。
  2. 论文梳理了理性主义、经验主义、行为主义、动物行为学(廷伯根的四个问题)、行为经济学(启发式偏差、助推理论)等行为科学的历史,指出单一的成功率指标在自然语言处理测试、连续控制、分布式系统等多个领域都曾被证明无法区分行为迥异的系统。
  3. 论文将问题形式化:两个策略可能在评估指标M上得分完全相同,却在某种属性(如稳健性或策略)上不同;行为测试就是从轨迹分析中构造出一个辅助函数B,用来揭示这种被指标掩盖的差异。
  4. 论文提出三个优先研究方向:从动作序列中自动推断决策策略的方法、支持受控反事实干预的系统化实验环境、以及研究多智能体相互适应产生的新现象的框架。
  5. 论文呼吁研究者开发可扩展的策略推断工具、设计支持干预测试的基准,以及建立多智能体研究方法;呼吁业界把行为审计纳入部署流程,并提出一个反馈闭环(图2):行为测试发现的问题可转化为奖励设计或约束条件,更新后的策略再重新接受行为测试检验。
Figure 1: We propose three specific priority areas for advancing behavioral evaluation of AI systems: (left) recovering decision-making strategies from sequences of actions; (center) using environment variants to test causal influences on behavior; (right) analysis of emergent behavior in multi-agent systems where agents adapt to each other’s presence.
Figure 1: We propose three specific priority areas for advancing behavioral evaluation of AI systems: (left) recovering decision-making strategies from sequences of actions; (center) using environment variants to test causal influences on behavior; (right) analysis of emergent behavior in multi-agent systems where agents adapt to each other’s presence.

为什么重要

随着基于大语言模型的智能体承担编程、购物、客服等需要多步骤自主行动的任务,如果只看最终成功率,可能会漏掉那些得分相同却隐藏着不安全、脆弱或价值不一致策略的智能体。本文为从业者提供了一套思路和研究路线图,帮助在部署前发现这些被结果指标掩盖的问题。

Figure 2: Moving from behavioral testing to design. A candidate policy π is run through a behavioral test that returns a descriptor B​(π), i.e. a property the task metric misses. This can then inform a potential encoding as a reward signal, shaping term, or constraint, or a test-time intervention, and the policy can be updated to π′ and re-tested for robustness on held-out data. The inner Improve loop iterates design and re-testing; the outer Discover loop re-examines deployed policies to surface new properties.
Figure 2: Moving from behavioral testing to design. A candidate policy π is run through a behavioral test that returns a descriptor B​(π), i.e. a property the task metric misses. This can then inform a potential encoding as a reward signal, shaping term, or constraint, or a test-time intervention, and the policy can be updated to π′ and re-tested for robustness on held-out data. The inner Improve loop iterates design and re-testing; the outer Discover loop re-examines deployed policies to surface new properties.

本文术语

  • 殊途同归(equifinality) · 不同的过程或策略也可能导致相同的最终结果
  • 行为测试(behavioral test) · 通过观察、扰动和解读智能体的行动来揭示结果指标无法体现的策略差异
  • 奖励黑客(reward hacking) · 智能体找到方法在指标上得高分,却没有真正实现预期目标
  • 反事实干预(counterfactual manipulation) · 改变环境中的某个因素,以测试它对智能体行为的因果影响
  • 机制可解释性(mechanistic interpretability) · 通过分析模型内部表示或计算电路来解释模型行为的研究方向

论文原文摘要（英文）

Artificial agentic systems increasingly operate as behavioral systems by interacting with dynamic environments, pursuing goals, and adapting over time. Yet, current evaluation methods largely focus on performance outcomes, not the underlying behavioral processes that produce them. This paper argues that AI agents must be evaluated like other behavioral systems: through systematic observation, perturbation, and interpretation of their actions. We draw on lessons from the behavioral sciences to motivate this position, and propose a research agenda focused on developing rigorous behavioral tests. These include methods for recovering decision strategies from action sequences, constructing environments that isolate behavioral differences, and probing emergent dynamics in multi-agent systems. Taken together, these directions offer a roadmap for developing a science of AI behavior.

作者 · Manuel Cherep, Nikhil Singh, Pattie Maes

在 arXiv 阅读

最新论文

全部论文 →

METAL MEDIA 最新报道

图片来源： Manuel Cherep et al., arXiv:2608.18081, CC BY 4.0