对齐

对齐指的是让AI按照人类的意图和价值观(aligned)行事的问题。可以理解为填补「照吩咐做」和「照本意做」之间的差距——让机器人打扫房间,结果它把挡路的东西全都扔掉了,命令是执行了,但对齐失败了。

AI越强大,这种差距带来的代价就越大,因此对齐是AI安全研究的核心议题。Anthropic、OpenAI、DeepMind都设有专门团队负责这项工作,「如何对齐超级智能」也被视为这个领域的终极问题。