Ein großer Marketing-Punkt bei modernen Prozessoren ist die sogenannte NPU. Eine NPU ist eine spezielle Einheit in deinem Prozessor, welche für die Berechnung von KI-Funktionen genutzt werden kann.
CPU-Hersteller wie Intel, AMD, Qualcomm usw. überbieten sich, wie viel „TOPS“ die NPU liefern kann. Teilweise werden die gleichen Prozessoren 2x auf den Markt gebracht, einmal in einer „AI“-Version mit besserer NPU.
Aber was bringt eine NPU überhaupt? Die Antwort wird dich schocken! Unter Windows nicht viel … Vor allem, wenn wir das massive Marketing darum bedenken.
Welche Anwendungen können die NPU nutzen?
Wenn wir uns ansehen, wie sehr die NPU beworben wird, könnten wir meinen, ohne NPU ist mittlerweile ein PC nutzlos, da diese ununterbrochen genutzt wird.
Allerdings, Anwendungen zu finden, welche die NPU konkret nutzen, ist gar nicht so leicht!
Kurzum, ich habe KI „Windows Copilot“ befragt, denn wer kann mir besser sagen, was die NPU nutzt?
- Windows Studio Effects (Hintergrundunschärfe, Augenkontakt, Auto-Framing, Voice Focus) in Video-Chat-Anwendungen
- Cocreator in Paint
- Live-Untertitel (Live Captions)
- Windows Fotos (Objektradierung)
- Windows Recall
- OBS Studio (Hintergrundentfernung)
- Adobe Photoshop (Generative Fill, intelligente Auswahl, Retusche)
- Adobe Lightroom (Classic & CC) – KI-Rauschreduzierung, Maskierung, Objekterkennung
- Videobearbeitungstools
- Adobe Photoshop (Generative Fill, Intelligente Auswahl)
- Adobe Lightroom (KI-Rauschreduzierung, Maskierung, Objekterkennung)
- Affinity Photo 2
- Luminar Neo (Supersharp AI, Upscale AI)
- DaVinci Resolve Studio (Gesichtserkennung, Objektverfolgung oder Smart Masking)
Probleme mit dieser Liste
Allerdings habe ich einige Probleme mit dieser Liste. Beispielsweise die Objektradierung in Windows Fotos erzeugte bei mir laut Taskmanager keinerlei NPU-Last.
Auch in Adobe Lightroom konnte ich bei der Objekterkennung 0 Ausschlag bei der NPU beobachten.
Entweder funktioniert diese Anzeige im Task Manager nicht oder es wird hier nicht die NPU genutzt. Ich glaube Letzteres, denn anstelle eines Ausschlags bei der NPU sehe ich einen Ausschlag bei der CPU.
Selbiges Spiel in Photoshop, auch hier wird für die Objektauswahl „Intelligente Auswahl“ lieber die iGPU oder CPU genutzt. Fürs „KI“-Retuschieren wird die Cloud genutzt.
Entweder ist bei mir also etwas „kaputt“ bei meinem Copilot+ PC oder es bestätigt meine Einschätzung, dass eine NPU unter Windows ziemlich nutzlos ist.
Cloud > GPU > NPU
Die meisten „nützlichen“ KI-Funktionen laufen über die Cloud oder nach meiner Erfahrung einfach über die GPU.
Die GPU ist in 99 % aller Systeme einfach viel mächtiger als die NPU und vor allem softwareseitig viel einfacher zu nutzen.
Z.B. in DaVinci Resolve Studio habe ich auch noch nie eine NPU-Nutzung gesehen, aber bei KI-Features eine exzessive GPU-Nutzung.
Ich will nicht sagen, dass eine NPU generell „unnütz“ ist, aber nach meiner Erfahrung hat diese unter Windows praktisch keinen Wert, außer du willst unbedingt „Windows Recall“.
Andere Erfahrung?
Vielleicht läuft auch einfach etwas bei mir falsch?! Ich habe 2x Systeme, die eine 50 TOPS+ NPU haben, und bei beiden habe ich noch nie gesehen, dass die NPU aktiv genutzt wird.
KI-Features, die ich im Alltag sehe, nutzen entweder die GPU oder die Cloud.
Hast du andere Erfahrungen gemacht? Funktioniert die NPU bei dir unter Windows bei „nützlichen Anwendungen“? Schreib es in die Kommentare, denn meine Erfahrungen sehen momentan ganz anders aus.
Danke, deckt sich mit meiner Erfahrung und hat viel Vertrauen der Industrie verspielt
Ja…. dieser „NPU“ Hype ist irgendwie völlig verrückt. Ich habe bisher nur einmal in meinem Leben gesehen das eine NPU wirklich genutzt wurde und das war in einem UGREEN NAS…. da nutzt die Foto App die tatsächlich.
In erster Linie ein Marketing Fail, an dem Intel und Microsoft besondere Verantwortung tragen. Wenn Asus seinen NUC 16 Pro mit 180 TOPS vorstellt, dann sind das 50 TOPS NPU und alles andere ist CPU + GPU – je nach Ausstattungsvariante. Einen „Mischbetrieb“ aller Komponenten bekommt man derzeit wohl nicht hin. Derzeit werden die NPUs für 1-3B Modelle empfohlen. Kann man also für kompakte und sehr spezifische Modelle nutzen (z.B. für einen PII Filter, Embeddings etc.). Leistungsfähigere Modelle laufen dann über die GPU gegen das gemeinsame RAM – was nicht gerade zum Parallelbetrieb einlädt.
Wer ernsthaft etwas in diesem Bereich etwas machen will, der nutzt OpenRouter (es sei denn geeignete Hardware ist bereits vorhanden). Für besondere Anforderungen kann man eine GPU nach Bedarf online buchen (z.B. für ein Finetuning).
Ich habe seinerzeit keine GPU gekauft – und nun rechnet sich das noch lange nicht.