瀏覽器中的 AI 執行效能

如今,不向伺服器傳送請求、而是直接在使用者裝置上執行 AI 模型的裝置端方式越來越多。在瀏覽器中執行,好處是無需安裝,而且你輸入的內容不會離開裝置。代價是需要下載模型檔案,而且計算所佔用的記憶體和耗電都不容小覷。Web Bench 的 AI 推理就是用來評估這種情況的可選專案。它用固定的測試語句生成文字,並把固定的圖片輸入模型來測量速度,不會讀取個人文件或照片。還請注意,它並不是每次快速測試和標準測試都會包含的專案。這個專案只是用來大致判斷你的裝置在瀏覽器中能在多大程度上勝任 AI 任務。在瀏覽器中執行 AI 的技術發展很快,支援範圍可能在幾個月內就有所擴大,所以如果裝置之前無法執行,更新瀏覽器後再試一次也值得。

AI 不會自動下載。只有在你主動開啟同意下載模型的選項時,才會從 Hugging Face 的公共 CDN 和 jsDelivr 獲取所需檔案,預設是關閉的。請在確認下載體積以及記憶體和耗電情況後再選擇。下載的檔案可能會被瀏覽器儲存在快取中,你可以在網站資料設定中清除。如果不同意,AI 專案就不會執行,也不會計入總分。因此,包含 AI 的結果和不包含 AI 的結果屬於不同的配置,不能像同一張排行榜那樣混在一起比較。分享結果時,也請一併註明是否包含 AI。下載時還最好同時考慮移動資料流量和電池狀態再做選擇。

執行路徑會因裝置情況而不同。如果可以使用 WebGPU,就在 GPU 上計算;如果不能,則改用 WASM 路徑執行,並在結果中單獨標明這一點。WASM 使用 CPU 計算,所以即使是同一臺裝置也可能慢得多,這並不是故障,而是執行路徑的差異。模型的精度也會影響速度和記憶體佔用。數值是處理速度,越高越好,但如果裝置發熱或記憶體不足,數值可能會大幅變化。請把它當作在相同條件下重複測得的範圍來讀,而不是一次性的單個數字,並將其視為參考值。測量結束後,結果僅在同意加入排名時上傳至伺服器。要公平比較,必須使用相同的模型和相同的輸入,所以請只比較路徑和精度都相同的結果。你所選的設定可以隨時更改,如果不想下載,不用 AI 也完全可以測試其餘專案。