Performa Menjalankan AI di Browser

Belakangan, cara on-device yang menjalankan model AI langsung di perangkat pengguna tanpa mengirim permintaan ke server makin banyak. Dijalankan di dalam browser, tidak perlu instal dan isi yang Anda masukkan tidak keluar dari perangkat. Sebagai gantinya, berkas model harus diunduh, dan memori serta daya yang dipakai untuk menghitung tidak kecil. Inferensi AI di Web Bench adalah item opsional untuk memperkirakan situasi seperti ini. Dengan kalimat uji dan gambar yang tetap, tes ini membuat teks dan memasukkan gambar ke model untuk mengukur kecepatan, dan tidak membaca dokumen atau foto pribadi. Perlu diketahui juga bahwa item ini bukan yang selalu disertakan dalam tes standar maupun tes cepat. Item ini hanya untuk memperkirakan sejauh mana perangkat Anda dapat menangani pekerjaan AI di browser. Teknologi menjalankan AI di browser berkembang pesat dan cakupan dukungannya bisa meluas dalam beberapa bulan, jadi jika perangkat Anda sebelumnya tidak bisa menjalankannya, ada baiknya mencoba lagi setelah memperbarui browser.

AI tidak diunduh secara otomatis. Hanya jika Anda sendiri mengaktifkan pilihan persetujuan unduhan model, berkas yang diperlukan diambil dari CDN publik Hugging Face dan jsDelivr, dan pengaturan bawaannya nonaktif. Pilihlah setelah memeriksa ukuran unduhan serta penggunaan memori dan daya. Berkas yang diunduh dapat disimpan browser di cache dan dapat dihapus lewat pengaturan data situs. Jika Anda tidak setuju, item AI tidak dijalankan dan dikeluarkan dari skor total. Karena itu, hasil dengan AI dan hasil tanpa AI adalah konfigurasi yang berbeda, jadi jangan dicampur dan dibandingkan seperti satu papan peringkat yang sama. Saat membagikan hasil, tuliskan juga apakah AI disertakan. Sebaiknya Anda juga mempertimbangkan penggunaan data seluler dan kondisi baterai saat memutuskan mengunduh.

Jalur eksekusi berbeda menurut kondisi perangkat. Jika WebGPU bisa dipakai, perhitungan dilakukan di GPU, dan jika tidak, tes berjalan lewat jalur WASM dan hal itu ditandai tersendiri pada hasil. WASM menghitung dengan CPU sehingga pada perangkat yang sama bisa jauh lebih lambat, dan itu bukan kerusakan, melainkan perbedaan jalur eksekusi. Kecepatan dan penggunaan memori juga berbeda menurut presisi model. Nilainya adalah kecepatan proses sehingga makin tinggi makin baik, tetapi bisa berubah besar jika perangkat menjadi panas atau memori kurang. Bacalah sebagai rentang dari pengulangan dalam kondisi yang sama, bukan satu angka sekali jalan, dan terimalah sebagai acuan. Bahkan setelah pengukuran selesai, hasil hanya dikirim ke server jika Anda setuju masuk peringkat. Agar adil, bandingkan dengan model dan masukan yang sama, jadi hanya bandingkan hasil dengan jalur dan presisi yang sama. Pengaturan yang dipilih dapat diubah kapan saja, dan jika tidak ingin mengunduh, item lainnya tetap bisa diukur dengan cukup tanpa AI.