KI-Leistung im Browser: Modelle lokal ausführen

Immer häufiger werden KI-Modelle direkt auf dem Gerät des Nutzers ausgeführt, ohne eine Anfrage an einen Server zu senden, sogenannte On-Device-KI. Die Ausführung im Browser braucht keine Installation, und Ihre Eingaben verlassen das Gerät nicht. Dafür müssen Modelldateien heruntergeladen werden, und Speicher und Strom für die Berechnung sind nicht zu unterschätzen. Die KI-Inferenz von Web Bench ist ein optionaler Test, um diese Lage einzuschätzen. Mit festen Testsätzen wird Text generiert, und mit einem festen Bild als Eingabe wird die Geschwindigkeit gemessen, persönliche Dokumente oder Fotos werden nicht gelesen. Beachten Sie, dass dieser Test nicht immer Teil von Standardtest und Schnelltest ist. Er dient ausschließlich dazu, einzuschätzen, wie gut Ihr Gerät KI-Aufgaben im Browser bewältigt. Die Technik, KI im Browser auszuführen, entwickelt sich schnell, und der Unterstützungsumfang kann sich schon binnen weniger Monate erweitern. Lief es auf einem Gerät früher nicht, lohnt sich nach einem Browser-Update ein neuer Versuch.

KI wird nicht automatisch heruntergeladen. Nur wenn Sie die Option zur Zustimmung zum Modell-Download selbst einschalten, werden die nötigen Dateien vom öffentlichen CDN von Hugging Face und von jsDelivr geladen, und der Standard ist ausgeschaltet. Entscheiden Sie sich, nachdem Sie Downloadgröße sowie Speicher- und Stromverbrauch geprüft haben. Heruntergeladene Dateien kann der Browser im Cache behalten, und Sie können sie in den Websitedaten-Einstellungen löschen. Ohne Zustimmung läuft der KI-Test nicht und wird auch aus der Gesamtpunktzahl herausgenommen. Ergebnisse mit und ohne KI sind daher unterschiedliche Zusammensetzungen und dürfen nicht wie dieselbe Rangliste vermischt werden. Geben Sie beim Teilen von Ergebnissen auch an, ob KI enthalten war. Beim Download ist es außerdem ratsam, mobiles Datenvolumen und Akkustand zu berücksichtigen.

Der Ausführungspfad hängt vom Gerät ab. Ist WebGPU verfügbar, wird auf der GPU gerechnet, andernfalls läuft stattdessen der WASM-Pfad, und das wird im Ergebnis gesondert angezeigt. WASM rechnet auf der CPU, daher kann dasselbe Gerät deutlich langsamer abschneiden, das ist kein Defekt, sondern ein Unterschied im Ausführungspfad. Auch die Genauigkeit des Modells ändert Geschwindigkeit und Speicherverbrauch. Der Wert ist die Verarbeitungsgeschwindigkeit, und höher ist besser, er kann sich aber stark ändern, wenn das Gerät heiß wird oder der Speicher knapp wird. Lesen Sie ihn nicht als einzelne einmalige Zahl, sondern als Spanne aus Wiederholungen unter gleichen Bedingungen, und nehmen Sie ihn als Richtwert. Auch nach Ende der Messung werden die Ergebnisse nicht an einen Server gesendet. Fair ist der Vergleich nur mit demselben Modell und derselben Eingabe, vergleichen Sie also nur Ergebnisse mit gleichem Pfad und gleicher Genauigkeit. Die gewählte Einstellung können Sie jederzeit ändern, und wenn Sie keinen Download möchten, lassen sich die übrigen Tests auch ohne KI vollständig messen.