AI en KI zijn tegenwoordig termen die in bijna elk product worden gebruikt. Meestal wordt hiervoor een NPU gebruikt. Maar wat betekent dat eigenlijk en wat doet een NPU?

Of je het nu leuk vindt of niet, AI-toepassingen zijn in opkomst en verspreiden zich over alle gebieden van het digitale leven. Het onderwerp is gelaagd, zeer complex en iedereen die erin geïnteresseerd is, kan zich een aantal weken vermaken met inlezen in het onderwerp.

Voor consumentenelektronica en eindgebruikers is het allemaal eenvoudiger: AI-software kan sneller patronen en complexe relaties berekenen met behulp van een speciale chip, een NPU, in het apparaat (smartphone, laptop of desktop pc). Dit betekent bijvoorbeeld dat elementen in afbeeldingen sneller en betrouwbaarder kunnen worden herkend en verwerkt, vogelsoorten kunnen worden geanalyseerd of de communicatie met technische apparaten veel eenvoudiger kan worden gemaakt.

Maar waarom is hier een aparte chip voor? En wat is er zo speciaal aan dat het naast normale processors wordt geïnstalleerd? Werd al deze AI niet ooit berekend door de GPU? We laten je zien wat een NPU is en waarom het concept erachter zo cool is.

Inhoudsopgave

Wat is een NPU?

De afkorting NPU staat voor Neural Processing Unit en is een type processor. Terwijl typische CPU’s al het mogelijke kunnen en moeten doen, is een NPU zeer gespecialiseerd om AI-taken snel en efficiënt op te lossen. AI is niet de enige term hiervoor, het wordt ook vaak kunstmatige intelligentie (KI) of machine learning genoemd.

NPU’s zijn zo gespecialiseerd dat ze tot 10.000 keer sneller kunnen zijn dan GPU’s in AI-berekeningen. Ze vertrouwen ook sterk op parallellisatie (vergelijkbaar met het concept achter multitasking). Maar omdat ze zo gespecialiseerd zijn, worden ze meestal naast gewone processors en GPU’s gebruikt om hun werklast te verminderen.

Er is momenteel geen gestandaardiseerd ontwerp of structuur voor NPU’s. Elke chipfabrikant vertrouwt op zijn eigen architectuur, waardoor er momenteel nog steeds verschillen zijn tussen de afzonderlijke NPU’s.

Geschiedenis van de NPU

De eerste vermelding van een type neurale processor dateert uit 1988, toen er sprake was van het implementeren van neurale netwerken voor optische herkenning van het alfabet. In het begin van de jaren 1990 had Intel al de eerste prototypes van dit type met de ETANN 80170NX en Ni1000. Het beoogde gebruik was hier meer voor werkstations en de wetenschappelijke sector.

Echt succes kwam pas na 2010, omdat de technologie zich verder ontwikkelde. In 2014 werd een processor met de naam DianNao (Chinees voor “elektrisch brein”) geïntroduceerd, die al functioneerde als een NPU. De prestaties werden aanzienlijk verbeterd in de opvolgers (DaDianNao, ShiDianNao, PuDianNao). De eerste AI-acceleratoren werden in 2018 gebruikt in smartphones met de Qualcomm Snapdragon 855.

In 2012 werd een poging gedaan om een neuraal netwerk (AlexNet) aan de gang te krijgen met behulp van twee GPU’s. En GPU’s worden vandaag de dag nog steeds gebruikt voor gigantische of industriële AI-systemen. IBM’s Summit supercomputer in Oak Ridge National Laboratory bevat bijvoorbeeld 27.648 Nvidia Tesla V100 grafische kaarten.

In de meeste eindapparaten wordt nu een NPU gebruikt. Er zijn nu echter ook AI-acceleratoren voor grafische kaarten, zoals Nvidia’s Tensor cores.

Zijn NPU’s beter dan GPU’s en CPU’s?

Dat klinkt allemaal heel revolutionair. NPU’s kunnen echter alleen voor bepaalde gebieden worden gebruikt; voor algemene wiskundige berekeningen kunnen ze alleen “goed” worden gebruikt. Daarom zijn ze voorlopig geen bedreiging voor normale processors en grafische kaarten.

Foot: Nvidia

NPU’s zijn geschikt voor patroonherkenning (bijv. spraak, basisveranderingen in beeld/video) en voor repetitieve kleine taken. Ze profiteren ook van de sterke parallellisatie van de NPU-architectuur, d.w.z. het parallel verwerken van een groot aantal kleinere repetitieve taken.

Voor complexere taken worden dan speciale GPU’s gebruikt. Commercieel verkrijgbare GPU’s met NPU-kernen (bv. tensorkernen) kunnen echter ook dergelijke complexe AI-taken uitvoeren. Er wordt momenteel ook gewerkt aan zogenaamde GPNPU’s (general purpose NPU’s), een middenweg tussen NPU’s en GPU’s. Het valt echter nog te bezien of dit concept echt zal aanslaan.

Neuronale netwerken in mijn computer?

Het is waarschijnlijker dan je denkt. De huidige AI-trend zal waarschijnlijk nog wel even aanhouden en veel toepassingen zullen afhankelijk zijn van AI-functies. Als gevolg daarvan zullen in de toekomst waarschijnlijk meer apparaten worden uitgerust met een NPU. NPU’s zijn al een integraal onderdeel van smartphones en allerlei technische gadgets. Maar hoe zit het met “normale” computers en laptops?

Foto: Intel

Neurale netwerken zijn ook Intel en AMD niet ontgaan. Sinds januari 2024 maakt een NPU deel uit van de nieuwe Ultra-processors (Meteor Lake). De nieuwe processors hebben een “chiplet”-structuur en zijn nu aanzienlijk modulairder. AMD werkt momenteel actief aan de tweede generatie van zijn NPU, genaamd “XDNA 2”, die zal worden gebruikt in de komende “Strix Point”-processoren in 2024.

Steeds meer toepassingen en websites maken echter ook gebruik van AI-functies buiten de lokale of fysieke NPU’s om. Deze worden dan niet lokaal berekend, maar door een server. De resultaten worden dan naar de applicatie gestuurd. In 2024 kun je er dus echt niet meer omheen.

Conclusie: Steeds meer AI-functies, steeds meer NPU’s

Nu de AI-trend al enkele jaren gaande is, vindt gespecialiseerde hardware in de vorm van NPU’s zijn weg naar onze apparaten. De verschuiving naar meer AI is al in volle gang op smartphones, maar op laptops en computers begint het pas echt in 2024, waardoor de voordelen nog beperkt zijn.

De ontwikkeling van geschikte AI-software (bijv. beeldbewerking van Adobe, videobewerking van Davinci Resolve, enz.) zal hand in hand gaan met de ontwikkeling van NPU’s. Het is nog niet duidelijk wat hier precies uit zal komen.

MSI Prestige 13 AI Evo

In games gaat de trend in de richting van hulpbronbesparende AI-technologieën zoals DLSS van Nvidia of XFS van AMD. Maar functies zoals aanzienlijk slimmere tegenstanders of actief en spontaan gegenereerde dialogen zullen binnenkort waarschijnlijk ook direct in games verschijnen.

Last but not least integreren fabrikanten van besturingssystemen (zoals Microsoft Windows en Google Android) ook steeds meer AI-functies. De onderliggende technische interfaces zullen de komende jaren ook verder worden ontwikkeld. In principe zullen we de komende maanden en jaren grote sprongen zien in AI en neurale netwerken, ongeacht de software en hardware.

Als je hier meer over wilt weten, kun je de volgende YouTube-video’s bekijken. Ze gaan meer op de details in en laten voorbeelden zien:

– How neuromorphic computing will change our world in wonderful ways | Intel

– Wat is een Neuraal Netwerk? | Hoe diepe neurale netwerken werken | Neural Network tutorial | Simplilearn

– Neurale netwerken uitgelegd in 5 minuten | IBM Technology

– Meteor Lake: AI-acceleratie en NPU uitgelegd | Talking Tech | Intel-technologie

– Architecture All Access: Meteor Lake – Artificial Intelligence | Intel Technology

Computer Componenten in onze winkel

Bronnen: Wikipedia – Neuromorfe processor, Wikipedia – AI versneller