Desempenho de IA rodando no navegador

Hoje cresce o modelo on-device, em que o modelo de IA roda direto no aparelho do usuário, sem enviar solicitações a um servidor. Rodar dentro do navegador dispensa instalação e mantém o que você digita do lado de dentro. Em compensação, é preciso baixar o arquivo do modelo, e a memória e a energia usadas no cálculo não são pequenas. A inferência de IA do Web Bench é um item opcional para estimar essa situação. Ela gera texto com frases de teste fixas e envia imagens fixas ao modelo para medir a velocidade, sem ler documentos ou fotos pessoais. Saiba também que este item não está sempre incluído no teste básico e no rápido. Ele serve apenas para estimar até que ponto o seu aparelho consegue lidar com tarefas de IA no navegador. A tecnologia para rodar IA no navegador evolui rapidamente e o suporte pode se ampliar em poucos meses, então, em um aparelho em que antes não rodou, vale atualizar o navegador e tentar de novo.

A IA nunca é baixada automaticamente. Só se você ativar manualmente a opção de consentir com o download do modelo, os arquivos necessários são baixados do CDN público do Hugging Face e do jsDelivr, e o padrão é desativado. Escolha depois de conferir o tamanho do download e o uso de memória e energia. Os arquivos baixados podem ficar no cache do navegador e podem ser apagados nas configurações de dados do site. Sem o consentimento, o item de IA não roda e também fica fora da pontuação total. Portanto, resultados com e sem IA têm composições diferentes e não devem ser misturados como se fossem o mesmo ranking. Ao compartilhar um resultado, indique também se a IA foi incluída. Na hora do download, também é melhor considerar o uso de dados móveis e o estado da bateria.

O caminho de execução varia conforme a situação do aparelho. Se o WebGPU estiver disponível, o cálculo é feito na GPU, e se não estiver, roda pelo caminho WASM, e isso é indicado separadamente no resultado. O WASM calcula na CPU, então mesmo no mesmo aparelho pode ser muito mais lento, o que não é defeito, e sim diferença no caminho de execução. A velocidade e o uso de memória também mudam conforme a precisão do modelo. O valor é a velocidade de processamento, então maior é melhor, mas pode mudar bastante se o aparelho esquentar ou a memória faltar. Leia como uma faixa repetida nas mesmas condições, e não como um número isolado, e aceite como referência. Mesmo depois do fim da medição, o resultado só é enviado ao servidor com consentimento para entrar no ranking. Para comparar com justiça é preciso usar o mesmo modelo e a mesma entrada, então compare só resultados com o mesmo caminho e a mesma precisão. A configuração escolhida pode ser alterada a qualquer momento e, se você não quiser baixar nada, os demais itens podem ser medidos bem sem a IA.