Rendimiento de la IA en el navegador

Cada vez es más habitual el método en el dispositivo (on-device), que ejecuta el modelo de IA directamente en tu equipo sin enviar peticiones a un servidor. Ejecutarlo en el navegador tiene la ventaja de que no requiere instalación y de que lo que escribes no sale del dispositivo. A cambio, hay que descargar los archivos del modelo y la memoria y la energía que se usan para calcular no son pocas. La inferencia de IA de Web Bench es un elemento opcional para estimar esta situación. Genera texto con frases de prueba fijas e introduce una imagen fija en el modelo para medir la velocidad, y no lee documentos ni fotos personales. Ten en cuenta también que no es un elemento que se incluya siempre en la prueba básica ni en la rápida. Este elemento sirve únicamente para estimar hasta qué punto tu dispositivo puede asumir tareas de IA en el navegador. La tecnología para ejecutar IA en el navegador avanza rápido y el soporte puede ampliarse en pocos meses, así que si un dispositivo no la ejecutaba antes, vale la pena actualizar el navegador y volver a probar.

La IA no se descarga automáticamente. Solo si activas tú mismo la opción de aceptar la descarga del modelo se obtienen los archivos necesarios de la CDN pública de Hugging Face y de jsDelivr, y por defecto está desactivada. Elige después de comprobar el tamaño de la descarga y el uso de memoria y energía. Los archivos descargados pueden guardarse en la caché del navegador y se pueden borrar en los ajustes de datos del sitio. Si no aceptas, el elemento de IA no se ejecuta y tampoco se incluye en la puntuación total. Por eso, un resultado con IA y otro sin IA son configuraciones distintas y no se deben mezclar como si fueran la misma clasificación. Al compartir un resultado, indica también si incluye la IA. Al descargar, conviene tener en cuenta además el consumo de datos móviles y el estado de la batería.

La ruta de ejecución cambia según la situación del dispositivo. Si puedes usar WebGPU, calcula en la GPU y, si no, se ejecuta en su lugar por la ruta de WASM y esto se indica aparte en el resultado. WASM calcula con la CPU, así que incluso en el mismo equipo puede salir mucho más lento, y no es una avería, sino una diferencia en la ruta de ejecución. La velocidad y el uso de memoria también cambian según la precisión del modelo. El valor es una velocidad de procesamiento y más alto es mejor, pero puede variar mucho si el dispositivo se calienta o falta memoria. En lugar de un solo número puntual, léelo como el rango obtenido al repetir en las mismas condiciones y acéptalo como valor orientativo. Incluso después de terminar la medición, el resultado se envía al servidor solo con tu consentimiento para entrar en la clasificación. Para comparar de forma justa hay que usar el mismo modelo y la misma entrada, así que compara solo resultados con la misma ruta y la misma precisión. Puedes cambiar la opción elegida cuando quieras y, si no deseas descargar nada, puedes medir el resto de los elementos sin IA con total suficiencia.