Hiệu năng chạy AI trên trình duyệt

Gần đây, cách chạy AI trên thiết bị, tức là chạy trực tiếp mô hình AI trên máy của người dùng mà không gửi yêu cầu lên máy chủ, đang ngày càng phổ biến. Chạy trong trình duyệt có ưu điểm là không cần cài đặt và nội dung bạn nhập không đi ra ngoài. Đổi lại, bạn phải tải tệp mô hình, và bộ nhớ cùng điện năng dùng cho tính toán không hề nhỏ. Suy luận AI của Web Bench là hạng mục tùy chọn để ước lượng tình huống này. Bài đo sinh văn bản từ câu văn cố định và đưa hình ảnh cố định vào mô hình để đo tốc độ, và không đọc tài liệu hay ảnh cá nhân. Cũng cần lưu ý rằng đây không phải hạng mục luôn có mặt trong đo nhanh và đo cơ bản. Hạng mục này chỉ dùng để ước lượng thiết bị của bạn xử lý được tác vụ AI trên trình duyệt ở mức nào. Công nghệ chạy AI trên trình duyệt phát triển rất nhanh và phạm vi hỗ trợ có thể mở rộng chỉ sau vài tháng, nên với thiết bị trước đây không chạy được, bạn có thể cập nhật trình duyệt rồi thử lại.

AI không bao giờ được tải xuống tự động. Chỉ khi bạn tự bật lựa chọn đồng ý tải mô hình, các tệp cần thiết mới được tải từ CDN công khai của Hugging Face và jsDelivr, và mặc định là tắt. Hãy chọn sau khi kiểm tra dung lượng tải xuống cùng mức dùng bộ nhớ và điện năng. Tệp đã tải có thể được trình duyệt lưu trong cache và bạn có thể xóa trong phần cài đặt dữ liệu trang web. Nếu không đồng ý, hạng mục AI sẽ không chạy và cũng bị loại khỏi tổng điểm. Do đó, kết quả có AI và kết quả không có AI là hai cấu hình khác nhau, nên không được trộn lẫn như cùng một bảng xếp hạng. Khi chia sẻ kết quả, hãy ghi kèm có bao gồm AI hay không. Tại thời điểm tải xuống, nên cân nhắc cả lượng dữ liệu di động và tình trạng pin rồi mới chọn.

Đường chạy thay đổi theo tình trạng thiết bị. Nếu dùng được WebGPU thì tính toán trên GPU, nếu không thì chạy qua đường WASM thay thế và ghi chú riêng điều này vào kết quả. WASM tính toán bằng CPU nên ngay cả trên cùng thiết bị cũng có thể chậm hơn rất nhiều, đó không phải hỏng hóc mà là khác biệt về đường chạy. Tốc độ và mức dùng bộ nhớ còn thay đổi theo độ chính xác của mô hình. Giá trị là tốc độ xử lý nên càng cao càng tốt, nhưng khi thiết bị nóng lên hoặc thiếu bộ nhớ thì có thể thay đổi rất nhiều. Hãy đọc theo khoảng giá trị lặp lại trong cùng điều kiện thay vì một con số dùng một lần, và xem đó là giá trị tham khảo. Ngay cả sau khi đo xong, kết quả chỉ được gửi lên máy chủ khi bạn đồng ý đăng xếp hạng. Để so sánh công bằng, cần cùng mô hình và cùng đầu vào, vì vậy chỉ nên đối chiếu các kết quả có cùng đường chạy và độ chính xác. Bạn có thể đổi lựa chọn đã chọn bất cứ lúc nào, và nếu không muốn tải xuống thì vẫn có thể đo các hạng mục còn lại đầy đủ mà không cần AI.