Computer Use

这是让AI学会用鼠标和键盘的能力。AI截取屏幕画面、找到按钮位置、点击、输入——就像人类使用软件一样,不需要API接口就能直接操作。

这是AI智能体想要完成「真正的工作」所必需的能力。世界上大多数软件都没有专门给AI用的连接通道,所以AI终究得学会像人一样使用屏幕。Anthropic在2024年底率先推出这项功能后,它很快成为业界各家都在追赶的共同项目。目前速度仍然较慢,也会出错,因此也有报道指出演示视频和实际使用之间存在差距。