AMD, Apple, Intel, Nvidia and Qualcomm are working on special AI features with chips. Apple’s and Microsoft’s prices have AI capabilities that have access to Apple Intelligence and Copilot+. Bei Künstlicher Intelligenz geht vieles durcheinander, wir dröseln es auf.
Anzeige
Should KI-Rechenwerke?
Where exactly was the KI-Beschleuniger better than normal CPU-Kerne?
Viele KI-Algorithmen beötigen sehr hohe Rechenleistung, kommen aber größtenteils mit zwei sehr specialen Funktionen från: der Multiplication Großer Matrizen and ener anschlussingen Addition, which is called Matrix Multiply Accumulate (MMA). Eine zeitlich für diese Rechenschritte optimizte Baugruppe verfahrett die Datan viel schneller und gegelichteigen energetisch efficienter as ein Allzweck Prozessorkern. Das klapt in der Praxis jedoch nur, wenn mehrere Bedingungen erfült sind.
Compatibility of KI-Apps and -Beschleunigern
Kann jede KI-Software jeden KI-Beschleuniger nutzen?
No, and here lies the catch in the pepper: To be able to use a certain AI-Calculator, an AI-App must be programmed specifically for it. Denn dummerweise has made the unterschiedchen KI-Rechenwerke in Chips from AMD, Apple, Intel, Nvidia and Qualcomm nicht zueinander binary compatible. Even worse: Many chips contain two or three different KI calculators. Sie sind zwar über Treiber ins bespiegel Betriebstellung eingebunden, and es gibt dafür auch standardisierte Programmierschnittstellen (APIs) sowie dazu compatible KI-Frameworks. Doch manche KI-App köperiert nur mit besmintung KI-Einheiten or besmintung APIs, others sind für sie nutzlos.
Current mobile processes that have been formed by the Intel Core Ultra 200V (Lunar Lake) enthalten or CPU core and an integrated graphics processor (IGP) for a Neural Processing Unit (NPU) for AI apps.
KI Programming Interfaces
How can I find your KI software with optimal hardware?
That’s difficult. Viele Softwarefirmen nicht enmal, wellche Softwareschnittstelle (Application Programming Interface, API) ihre KI-App überhaupt nutzt. Und selbst mit dieser Information ist es schwer einzuschätzen, wie gut die App auf einem besmintung Rechner laufen wird. It is a combination of KI-Framework, KI-API, Driver and Hardware which makes a huge difference in Performance.
KI Apps are used to use KI Frameworks with TensorFlow, Caffe, PyTorch or Keras. These were nutzen for KI-Rechenwerken, Treibern and Betriebstellungen different software with Microsoft DirectML (Windows ML), Apple CoreML, Nvidia TensorRT, AMD AI Engine, Intel OpenVINO, Qualcomm AI Engine Direct or a generic Schnittstelle Vulkan.
Microsoft is available for programming under Windows DirectML nutzen, but also has KI-Einheiten unterschiedlicher Chipfirmen ansteuern lassen. Doch Benchmarks seigen, dass DirectML ofte deutlich weniger Rechenleistung herausholt als mit dem vom vom meichen Hardwarehersteller selbst gepflegten API. It’s gilded unique to Nvidia TensorRT and Intel’s OpenVINO.
Was it a shame Tops?
Every time again I stumble upon the “Tops” unit. Ich habe schon begriffen, dass damit Tera-Operationen per Sekunde gemeint sind. Aber var bedeutet das?
Für den KI Siegeszug, the realization was important that many KI Algorithms also gave good results when they worked with strongly simplified values. Daher rechnen viele AI-Apps with so-called quantized data. For example, instead of floating point values, use 32 Bit (32-Bit Floating Point, FP32) nur FP16 or gleich ganze Zahlen (Integer) mit 8, 6 or gar nur 4 Bit. Ein solcher Int8-Wert belegt 1 Byte, even nur ein Viertel dessen, var ein FP32-Wert need. And modern CPU functions such as Advanced Vector Extensions (AVX) work for Taktzyklus from the “shmalen” data viel mehr. AVX-VNNI handles for example the 256-Bit vector and verrechnet instead of eight FP32 values alternative auch 32 Int8 Zahlen in einem Rutsch. Von den kleineren Daten passen auch mehr ins RAM and in die caches.
For the maximum Anzahl an Datenwerten, die ein Rechenwerk per Sekunde verarbeiten kan, die Maßeinheit “Operations per Second” (ops, Rechenschritte per Sekunde) has been eingebürgert. Bei KI-Rechenwerken ist damit usually die Anzahl der bei Matrixmultiplikatienen per Sekunde verfahretten Int8-Werte gemeint, die längst in die Billionen geht: Tera-ops, kurz Tops. Viele KI-Rechenwerke – aber längst nicht alle – verarbeiten auch FP16-Werte, jedoch nur half as schnell wie Int8; typicalerweise nennen Hersteller dann den höheren Wert. Geht es um Gleitkommazahlen (floating point), schreibt man eher Flops: Floating point operations per second. Ohne konkrette Angabe der Datenformate, which the respective KI-Rechenwerk verarbeiten kann, allow Tops-Werte nur very grobe Leistungsvergleiche.
Welche KI Accelerator gibt es?
Welche Typen von KI-Beschleunigern stecken in aktuellen Windows und macOS Rechnern?
With the most up-to-date x86 and ARM processors, you get a CPU core for AI algorithms that is optimized and faster than its predecessors. Because AMD, Intel and also ARM have their respective Vector-Recheninheiten (Advanced Vector Extensions, AVX, and Scalable Vector Extensions, SVE) überarbeit, so that they now also work with KI-Datenformate such as BF16, FP16 or Int8 verarbeiten. Im Idealfall sind sie bei gleicher Taktfrequenz um den Factor two is eight faster than the older Prozessoren. The 16 CPU core one’s AMD Ryzen 9 9950X has been compiled with 10 Tops on Int8.
The most current processors also contain integrated graphics processors (iGPU, IGP). They are two deutlich schwaecher as the GPU is teuren Grafikkarte, enthalten aber lichene Rechenwerke, die außer 3D-Berechnungen and Raytracing mittlerweile auch KI-Datenformate kennen. Die IGP des Mobilprocessors Intel Core Ultra 9 288V comes with 67 Tops. A 300 Euro teure Nvidia GeForce RTX 4060 comes hinged with set 242 Tops.
Connected to all current mobile processes from AMD, Apple, Intel and Qualcomm separate KI-Rechenwerke, sogenannte Neural Processing Units (NPUs). Most of them only produce Int8 and FP16 values and are often weaker than the integrated GPU: Intel’s NPU in the Core Ultra 100 is in 13 Tops, in the Core Ultra 200V in 45 Tops. For the “Copilot+” logo, Microsoft requests a 40-peak NPU. Der Kniff an den NPUs: Sie sind besons effizient und fressen wenig Strom. Sie sind vor allem für continously running KI Anwendengen gedacht, die den Notebook-Akku nicht schnell leeren sollen: Spracherkennung, Optimierung von Audio- und Videostreams.
Do you need a large RAM memory for a KI-PC?
Braucht ein KI-PC special viel Arbeitsspeicher?
Das läßt sich nicht pauschal sagen. Locally executed KI-Modelle können deutlich mehr RAM belegen as for example Office-Apps. That’s why Microsoft requested Windows 11 computers with them Logo Copilot+ has 16 GB of RAM. Apple hat vor der Einführung von Apple Intelligence die Mindestbestückung seiner Macs ebenfalls auf 16 GByte erhöhet.
The previous Copilot+ notebooks found in Apple computers have the processor with built-in GPUs and NPUs, which have all the storage space for RAM. Soll das KI-Modell auf einer separaten Grafikkarte laufen, muss wiederum deren local Speicher groß genug sein.
Windows 11 showed in the Geräte-Manager the current Auslastung of the NPU and.
KI-Beschleuniger nachrüsten
Can you have a KI-Beschleuniger for your laptop or PC?
It is good to use Desktop PCs with a free PCI-Express-x16-Slot (PCIe x16): Dort können Sie eine modern Grafikkarte einbauen. Wie strong sie darf depends auster von Ihrem Geldbeutel auch vom vorhandenen Powerzteil ab ab, because many graphics cards need additional power cables, especially those with more than 75 Watt Leistungsaufnahme.
Empfehlenswert sind bislang vor allem Nvidia-RTX-Grafikkarten, weil sie nicht nur relativ viel KI Rechenleistung bereitstellen, sondern weil Nvidia auch Treiber und Programmierschnittstellen gut pflegt. Je nach KI-App comes aber auch Karten by AMD or Intel infrage.
Nur sehr weinge Notebooks and Mini-PCs hasben Steckfassungen für Grafikkarten. Es gibt aber für unter 100 Euro KI-Beschleuniger in M.2-Bauform wie den Hailo 8L mit immerhin 13 Tops. Welche KI-Apps which are under Linux or Windows have nutzen, could not have any experience.
All 14 Tage presents Ihnen Deutschland’s größte IT-Redaktion current tips, critical messages, aufwendige tests and tiefgehende Reportagen for IT-Sicherheit & Datenschutz, Hardware, Software- and App-Entwicklungen, Smart Home and vielem more. Unabhängiger Journalismus ist bei c’t das A und O
(ciw)
