端侧AI

现在用的AI大多其实并不是在手机上运行,而是在远处的数据中心里运行的。你的提问会被发送到服务器,答案再传回来。端侧AI去掉了这个来回过程,直接在手机、笔记本内部运行AI。

它有三个好处:不需要联网、反应速度快,最重要的是数据不会离开设备。这也是为什么相册搜索、通话摘要这类涉及隐私的功能,越来越依赖端侧处理。

不过手机芯片比数据中心的GPU小得多,所以需要更小、更高效的模型。「三星Galaxy、iPhone内置AI」的报道,以及苹果、高通、三星的「AI芯片(NPU)」相关报道,都属于这一趋势。大模型放在服务器上,零碎任务交给设备处理——把两者结合起来的混合方式,是目前的主流。

「新款智能手机无需连接服务器即可支持实时翻译」——这说明翻译模型是在手机内部运行的。附近的句子常常会提到「隐私」。

1. 把手机切换到飞行模式——制造一个断网的状态。
2. 逐一尝试各种AI功能:相册里的橡皮擦、修图工具,键盘自动补全,语音听写,实时翻译。
3. 飞行模式下仍能用的就是端侧AI,出现「需要联网」提示的就是服务器AI——这样就能大致了解你的手机自身能做到什么程度。