浏览器中的 AI 运行性能

如今,不向服务器发送请求、而是直接在用户设备上运行 AI 模型的设备端方式越来越多。在浏览器中运行,好处是无需安装,而且你输入的内容不会离开设备。代价是需要下载模型文件,而且计算所占用的内存和耗电都不容小觑。Web Bench 的 AI 推理就是用来评估这种情况的可选项目。它用固定的测试语句生成文本,并把固定的图片输入模型来测量速度,不会读取个人文档或照片。还请注意,它并不是每次快速测试和标准测试都会包含的项目。这个项目只是用来大致判断你的设备在浏览器中能在多大程度上胜任 AI 任务。在浏览器中运行 AI 的技术发展很快,支持范围可能在几个月内就有所扩大,所以如果设备之前无法运行,更新浏览器后再试一次也值得。

AI 不会自动下载。只有在你主动打开同意下载模型的选项时,才会从 Hugging Face 的公共 CDN 和 jsDelivr 获取所需文件,默认是关闭的。请在确认下载体积以及内存和耗电情况后再选择。下载的文件可能会被浏览器保存在缓存中,你可以在网站数据设置中清除。如果不同意,AI 项目就不会运行,也不会计入总分。因此,包含 AI 的结果和不包含 AI 的结果属于不同的配置,不能像同一张排行榜那样混在一起比较。分享结果时,也请一并注明是否包含 AI。下载时还最好同时考虑移动数据流量和电池状态再做选择。

运行路径会因设备情况而不同。如果可以使用 WebGPU,就在 GPU 上计算;如果不能,则改用 WASM 路径运行,并在结果中单独标明这一点。WASM 使用 CPU 计算,所以即使是同一台设备也可能慢得多,这并不是故障,而是运行路径的差异。模型的精度也会影响速度和内存占用。数值是处理速度,越高越好,但如果设备发热或内存不足,数值可能会大幅变化。请把它当作在相同条件下重复测得的范围来读,而不是一次性的单个数字,并将其视为参考值。测量结束后,结果仅在同意加入排名时上传到服务器。要公平比较,必须使用相同的模型和相同的输入,所以请只比较路径和精度都相同的结果。你所选的设置可以随时更改,如果不想下载,不用 AI 也完全可以测试其余项目。