Prestazioni dell'AI eseguita nel browser

Sempre più spesso i modelli AI vengono eseguiti direttamente sul dispositivo dell'utente, senza inviare richieste a un server: è il metodo on-device. Eseguirli nel browser ha il vantaggio di non richiedere installazione e di non far uscire ciò che inserisci. In compenso bisogna scaricare i file del modello e memoria ed energia usate per il calcolo non sono trascurabili. L'inferenza AI di Web Bench è una voce facoltativa pensata per valutare questa situazione. Genera testo da frasi di test fisse e fornisce al modello un'immagine fissa per misurare la velocità, senza leggere documenti o foto personali. Sappi anche che non è una voce sempre inclusa nel test rapido e nel test standard. Questa voce serve soltanto a capire in che misura il tuo dispositivo riesce a gestire attività AI nel browser. La tecnologia per eseguire l'AI nel browser avanza rapidamente e il supporto può ampliarsi anche in pochi mesi, quindi se su un dispositivo il test non funzionava in precedenza, vale la pena riprovare dopo aver aggiornato il browser.

L'AI non viene scaricata automaticamente. Solo se attivi tu l'opzione che acconsente al download dei modelli, i file necessari vengono scaricati dalla CDN pubblica di Hugging Face e da jsDelivr, e il valore predefinito è disattivato. Scegli dopo aver controllato dimensione del download e consumo di memoria ed energia. I file scaricati possono essere conservati nella cache del browser e si possono eliminare dalle impostazioni dei dati del sito. Se non acconsenti, la voce AI non viene eseguita ed è esclusa anche dal punteggio totale. Per questo i risultati con AI e quelli senza AI hanno composizioni diverse e non vanno mescolati come se fossero la stessa classifica. Quando condividi un risultato, indica anche se includeva l'AI. Al momento del download è meglio considerare anche il consumo di dati mobili e lo stato della batteria.

Il percorso di esecuzione dipende dalla situazione del dispositivo. Se WebGPU è utilizzabile, il calcolo avviene sulla GPU; se non lo è, si passa al percorso WASM e questo viene indicato a parte nel risultato. WASM calcola con la CPU, quindi anche sullo stesso dispositivo può risultare molto più lento: non è un guasto ma una differenza di percorso di esecuzione. Anche la precisione del modello cambia velocità e uso di memoria. Il valore è una velocità di elaborazione e più è alto, meglio è, ma può cambiare molto se il dispositivo si scalda o la memoria scarseggia. Più che un singolo numero occasionale, leggi l'intervallo ottenuto ripetendo il test nelle stesse condizioni e consideralo un valore indicativo. Anche dopo la fine del test, i risultati vengono inviati al server solo con il consenso alla classifica. Per un confronto equo servono lo stesso modello e lo stesso input, quindi confronta solo risultati con lo stesso percorso e la stessa precisione. Puoi cambiare l'impostazione scelta in qualsiasi momento e, se non vuoi scaricare nulla, puoi comunque misurare tutte le altre voci senza l'AI.