Mit Künstlicher Intelligenz am Edge lassen sich neue Anwendungsfelder erschließen. com! professional zeigt, wie das möglich ist.
(Bild: hutterstock / ProStockStudio)
Die Zeiten, in denen KI- und Machine-Learning-Funktionen nur über Unternehmens- oder Cloud-Rechenzentren verfügbar waren, sind vorbei. Heute kommen entsprechende Algorithmen dort zum Einsatz, wo die Daten anfallen: am Rand von Unternehmensnetzwerken, also am Edge. „Wir sehen eine stetige Zunahme von Anwendungen, die standardmäßig Modelle des maschinellen Lernens auf Edge-Devices ausführen“, berichtet Christian Borst, Chief Technology Officer EMEA von Vectra AI. Dazu tragen Baukästen bei: „Toolkits wie Google Coral, das mit einer integrierten Tensor Processing Unit ausgestattet ist, setzen sich dank Fortschritten bei der Prozessorleistung und den Quantisierungstechnologien allmählich durch.“ Mit solchen Kits können Nutzer Maschinen, Steuerungen und Kameras in der Qualitätskontrolle um KI-Funktionen erweitern. Gleiches gilt für Systeme, die in der Medizintechnik oder in der Heimautomation eingesetzt werden.
Anzeige
Edge-KI wird vor allem durch die wachsende Verbreitung von IoT-Komponenten wie Sensoren und Aktoren wichtiger. Nach Einschätzung des deutschen Marktforschungs- und Beratungsunternehmen IoT Analytics in Hamburg kommen in den nächsten Jahren verstärkt IoT-Sensoren mit integrierten KI- und Machine-Learning-Funktionen auf den Markt. Solche Sensoren werden dadurch selbst zu Edge-Devices. Als Beispiel nennt IoT Analytics Komponenten der Ring-Produktfamilie von Amazon für die Heimautomation. So stehen Ring-Systeme mit Sensoren zur Verfügung, die dank KI-Algorithmen und einer integrierten neuronalen CPU erkennen, ob das Glas eines Fensters oder einer Tür zu Bruch geht, etwa bei einem Einbruchsversuch oder durch einen Orkan.
Vorteile von Edge gegenüber Cloud
Dass Edge-Computing und damit Edge-KI an Bedeutung gewinnen, hat den Grund, dass Cloud-Services nicht für alle Einsatzszenarien ideal sind. „Cloud-Computing im ,Kern‘ des Internets findet an einem oder mehreren festen Standorten statt. Es eignet sich vor allem für die Verarbeitung von Daten im Ruhezustand, also Informationen, die in Repositories wie Datenbanken, Data Warehouses und Data Lakes gespeichert sind“, erläutert Robert Blumofe, Excecutive Vice President und Chief Technology Officer von Akamai. „Wenn es dagegen darum geht, in Echtzeit, online und mit geringer Latenz auf die Aktivitäten von Endnutzern und Geräten zu reagieren, ist Edge-Computing das bessere Modell. Es ermöglicht die Datenverarbeitung direkt vor Ort, in der Nähe der Nutzer und Systeme.“
Das gilt auch für die Analyse von Daten mithilfe von KI- und Machine-Learning-Algorithmen. „Denn die Verarbeitung großer Datenmengen durch IoT-Systeme muss häufig in Echtzeit erfolgen und benötigt daher Latenzzeiten von nahe null“, betont Salim Khodri, EMEA Edge Go-to-Market Specialist bei Red Hat. Die Verzögerungszeit bei der Übermittlung von Daten in eine Cloud und zurück zu einem Sensor oder einer Kamera beträgt aber etwa 100 Millisekunden. „Häufig ist das kein Problem, aber in manchen Fällen ist selbst diese Zeitspanne zu lang, weil die Antworten in Echtzeit benötigt werden“, so Khodri weiter.
(Bild: Akamai)„Wenn es darum geht, in Echtzeit, online und mit geringer Latenz auf Endnutzer und Geräte zu reagieren, ist Edge-Computing das bessere Modell als Cloud-Computing. Es ermöglicht die Datenverarbeitung direkt vor Ort, in der Nähe der Nutzer und Systeme.“
Robert Blumofe, Executive Vice President und Chief Technology Officer von Akamai
Mehrere Terabyte pro Tag
Hinzu kommen die großen Datenvolumina, die vor Ort anfallen, etwa an einer Maschine, in einem autonomen Fahrzeug oder einem automatisierten Lager. Nach Angaben des finnischen Edge-KI-Spezialisten Advian erzeugen beispielsweise die 50.000 Sensoren eines Passagierflugzeugs des Typs Airbus A350 täglich 2,5 Terabyte an Daten. Bei der Erprobung von hochautomatisierten Fahrzeugen sind es nach Einschätzung von Forschern des Karlsruher Instituts für Technologie (KIT) 4 bis 8 Terabyte täglich.
Solche Datenmengen in ein (Cloud-)Rechenzentrum zu übertragen, erfordert Netzwerkverbindungen mit hohen Bandbreiten. Diese sind jedoch kostspielig und zudem nicht überall verfügbar. Abhilfe im mobilen Bereich können 5G-Mobilfunkverbindungen schaffen, die hohe Übertragungsraten mit kurzen Latenzzeiten von wenigen Millisekunden verbinden. Doch auch hier sind Faktoren wie die Kosten und die Übertragungskapazitäten zu berücksichtigen, vor allem in Räumen mit vielen Nutzern.
(Bild: Red Hat)„Die Verarbeitung großer Datenmengen durch IoT-Systeme muss häufig in Echtzeit erfolgen und benötigt daher Latenzzeiten von nahe null.“
Salim Khodri, EMEA Edge Go-to-Market Specialist bei Red Hat
Bildsensoren und Mikrocontroller mit KI
Um KI und maschinelles Lernen in Edge-Systeme zu integrieren, gibt es viele Optionen. So hat beispielsweise Sony KI-Funktionen in die Bildsensoren der IMX500-Reihe integriert. Auch Mikrocontroller (MCUs) lassen sich mithilfe von schlanken Neuronal Network Frameworks wie Neural Network on Microcontroller (NNoM) und TinyML um solche Funktionen ergänzen. MCUs kommen beispielsweise in Embedde- AIoT-Systemen (Artificial Intelligence of Things) zur Anwendung. Siemens wiederum bietet seit mehreren Jahren Steuerungen der Simatic-Reihe an, die mit KI-Prozessoren der Reihe Movidius Myriad X von Intel ausgestattet sind. Außerdem setzt Siemens für die optische Qualitätskontrolle in Fabriken mithilfe von IoT-Systemen Edge-KI-Plattformen und Anwendungs-Frameworks ein, etwa von Nvidia.
Für Aufgaben, die höhere Rechenleistung benötigen, kommen Computer in Betracht, die mit KI-Prozessoren ausgestattet sind. Dies können Industrie-PCs sein, aber auch kompakte Systeme für den Outdoor-Einsatz. Ein Beispiel sind die Edge-KI-Lösungen der AIE800-Reihe von Axiomtek auf Basis der KI-Plattform Jetson Xavier NX von Nvidia. Solche Systeme verkraften Temperaturen von minus 30 bis plus 50 Grad Celsius und sind gegen Spritzwasser geschützt. Einsatzfelder sind etwa Verkehrsmanagementsysteme sowie raue Umgebungen wie Fabriken, das Außengelände von Unternehmen und Kraftwerke.
Herausforderungen von Edge-KI
Damit Edge-KI den erhofften Nutzen bringt, müssen Anwender mehrere Faktoren berücksichtigen, erläutert Salim Khodri, EMEA Edge Go-to-Market Specialist bei Red Hat. Zu beachten sind insbesondere folgende Herausforderungen:
Der Aufwand beim Einsatz vieler Sensoren in IoT-Umgebungen: „Dies kann kostenintensiv und zeitaufwendig sein“, sagt Khodri.
Hohe Komplexität: Die meisten Branchen, in denen KI am Edge vorangetrieben wird, wollen die neuen Anwendungen innerhalb der gesamten Infrastruktur bereitstellen. „Bedenkt man, wie komplex Unternehmen aus dem Einzelhandel, dem Gesundheitswesen oder der Fertigung sind, führt das oft zu Installationen an mehreren Standorten, wo es dann an geeigneter IT- oder Security-Infrastruktur fehlt“, gibt der Experte von Red Hat zu bedenken.
Edge-Computing an Remote-Standorten mit wenigen oder keinen IT-Fachleuten: IT-Teams suchen aus diesem Grund nach einem Betriebsmodell, das ähnliche Automatisierungs- und Lifecycle-Management-Funktionen bietet wie zentrale Rechenzentren und die Public Cloud.
Interoperabilität von Komponenten: „Es gibt keinen Anbieter, der einen vollständigen Edge-Stack liefern kann“, konstatiert Khodri. Unternehmen müssten daher in ihren Edge-Umgebungen auf die Interoperabilität der Hardware und Software achten, die von unterschiedlichen Anbietern stammt. Allein KI sei ein Bereich, in dem viele Akteure zusammenarbeiten müssten. Daher sei es kaum möglich, den Technologie-Stack für KI am Edge von einem einzigen Unternehmen zu beziehen.
Ökosphäre von Anbietern berücksichtigen: Anwender sollten auf Infrastrukturen setzen, mit denen sich Lösungen unterschiedlicher Anbieter verwalten lassen. Eine solche Ökosphäre hat beispielsweise Red Hat zusammen mit Lösungen von Anbietern wie Nvidia und Intel aufgebaut. Die Hard- und Software aller Beteiligen ist zertifiziert und arbeitet mit den Lösungen der anderen Anbieter zusammen.
IT-Sicherheit: „Edge-Umgebungen brauchen Schutz, daher müssen auch KI-Prozesse Security integrieren“, stellt Salim Khodri fest. „Denn die Absicherung von KI-Systemen, ihrer Daten und ihrer Kommunikation ist sowohl für den Schutz von Anwendern und Daten als auch der Investitionen unverzichtbar, die Unternehmen in die neuen Lösungen tätigen.“
Machine-Learning-Modelle für den Edge
Um die Machine-Learning-Modelle zu erstellen, die auf Edge-Systemen laufen, sind zwei Schritte erforderlich: Training und Klassifizierung. Und hier kommt doch die Cloud ins Spiel, so Robert Blumofe von Akamai: „Das Training erfolgt offline und erfordert große Datenmengen, die als Beispiele verwendet werden. Daher wird es häufig in einer Cloud durchgeführt.“ Ergebnis des Trainings ist ein Modell, das zur Klassifizierung verwendet wird.
Die Klassifizierung erfolgt online in Echtzeit und unter Verwendung neuer Beispiele, die von Nutzern und Geräten stammen. „Die aus dem Training abgeleiteten Modelle sind meist kompakt und lassen sich leicht an den Edge verteilen“, so Blumofe weiter.
Allerdings ist es erforderlich, ein effizientes Management der ML- und KI-Modelle zu etablieren. Da diese meist in Form von Software-Containern bereitgestellt werden, kommen dafür Orchestrierungs-Tools wie Kubernetes infrage. Doch Kubernetes allein reicht nicht aus, erläutert Salim Khodri von Red Hat, vor allem in komplexen Edge-Umgebungen. Nötig seien ergänzende Funktionen für das Management und die Absicherung von Kubernetes-Clustern, wie sie Red Hat Openshift zur Verfügung stellt. Zu diesen Funktionen zählen ein Monitoring, ein zentrales Management von Regelwerken (Policies) und die Unterstützung von Netzwerk-Plug-ins.
Mit KI mehr Sicherheit für Edge-Systeme
Ein wichtiges Einsatzfeld von Künstlicher Intelligenz und maschinellem Lernen (ML) in Verbindung mit Edge-Systemen ist der Schutz von IT-Umgebungen und Endgeräten. „Edge-Computing eignet sich ideal für Sicherheitsfunktionen wie das Scannen nach Sicherheitsbedrohungen, das Klassifizieren und Blockieren von Bots und die Abwehr von DDoS-Angriffen“, meint etwa Robert Blumofe, Executive Vice President und Chief Technology Officer von Akamai. „Da die Datenverarbeitung in der Nähe der End-User und Endgeräte stattfindet, bietet Edge-Computing niedrigere Latenzzeiten und eine massive Skalierung.“
KI und ML lassen sich beispielsweise am Rand von IT-Infrastrukturen und Netzwerken dazu nutzen, um IoT-Systeme (Internet of Things) zu identifizieren und im laufenden Betrieb zu überwachen. „IoT-Geräte weisen unabhängig vom Hersteller ein einheitliches Netzwerkverhalten auf“, erläutert Martin Zeitler, Director System Engineering beim IT-Security-Spezialisten Palo Alto Networks. „So nimmt ein Röntgengerät Bilder auf und lädt sie hoch, ein Thermostatsensor misst die Temperatur und passt sie entsprechend an.“ Dadurch entsteht eine große Menge von Daten, die sich mithilfe von Machine Learning und KI analysieren lassen. „Durch die Beobachtung des Netzwerkverhaltens kann ein ML-Algorithmus praktisch eine unbegrenzte Anzahl von IoT-Geräten identifizieren“, so Zeitler. Algorithmen sind außerdem in der Lage, eigenständig neue IoT-Geräte zu erkennen und zu überwachen.
Verdächtige Aktivitäten am Edge identifizieren
Zusätzlich können ML und KI dazu verwendet werden, um bei Edge-Systemen und IoT-Geräten ungewöhnliche Verhaltensmuster (Anomalien) zu identifizieren, die beispielsweise auf Cyberangriffe hindeuten. Die KI-Lösungen übersetzen zu diesem Zweck Telemetrie-Informationen in Empfehlungen, um die Sicherheitsrichtlinien anzupassen. „Das Ergebnis ist eine optimierte Sicherheit für Edge-Systeme, Endpoints und das gesamte Unternehmen sowie Zeiteinsparungen für die IT-Sicherheitsteams“, erklärt Zeitler. Solche Verhaltensanalysen auf Basis von Machine Learning und Reputationsheuristiken können in Edge-Umgebungen beispielsweise Bots klassifizieren. „Einige Bots sind ,gut‘. Sie helfen etwa dabei, Suchmaschinendaten zu organisieren“, erläutert Robert Blumofe. „Andere sind ,schlecht‘ und dienen dazu, Daten zu entwenden.“ Mit ML können IT-Fachleute ermitteln, welche Aktivitäten in Edge-Umgebungen legitim sind.
Permanente Optimierung
Ein Vorteil von Edge-KI-Anwendungen ist, dass KI-Modelle immer präziser werden, wenn für das Training mehr Daten herangezogen werden, so Ludwig von Reiche, Geschäftsführer von Nvidia Deutschland. „Wenn eine Edge-KI-Anwendung auf Daten stößt, die sie nicht genau oder sicher verarbeiten kann, lädt sie diese in der Regel in die Cloud hoch, damit der KI-Algorithmus sie neu trainieren und daraus lernen kann. Je länger ein Modell also in der Edge-Produktionsumgebung ist, desto genauer wird es.“
Als weitere Vorteile von KI-Anwendungen und Edge-KI führt von Reiche die Flexibilität und Leistung an. Der Grund ist, dass neuronale KI-Netzwerke nicht auf die Beantwortung einer bestimmten Frage trainiert werden, sondern auf die Beantwortung eines bestimmten Fragetyps, auch wenn die Frage selbst neu ist. „Dies verleiht dem KI-Algorithmus die Intelligenz, beliebig viele verschiedene Eingaben wie Text, gesprochene Wörter oder Videos zu verarbeiten.“
(Bild: Vectra AI)„Wir sehen eine stetige Zunahme von Anwendungen, die standardmäßig Modelle des maschinellen Lernens auf Edge-Devices ausführen. Toolkits wie Google Coral, das mit einer integrierten Tensor Processing Unit ausgestattet ist, setzen sich allmählich durch.“
Christian Borst, Chief Technology Officer EMEA bei Vectra AI
Zentrale Einsatzfelder
Unter den vielen potenziellen Einsatzbereichen von Edge-KI sind derzeit nach Einschätzung von Nvidia einige von besonders hoher Relevanz. Dazu zählt die vorausschauende Wartung in der Fertigung (Predictive Maintenance). Sensoren erkennen bei Maschinen frühzeitig Abweichungen vom normalen Verhalten und beugen auf diese Weise ungeplanten Ausfällen vor.
Von besonderem Interesse sind derzeit außerdem intelligente Prognosen im Energiebereich. „KI-Modelle helfen dabei, historische Daten, Wettermuster, den Zustand des Stromnetzes und andere Informationen zu kombinieren, um komplexe Simulationen zu erstellen“, so von Reiche. „Diese ermöglichen eine effizientere Erzeugung, Verteilung und Verwaltung von Energieressourcen.“
Ein weiteres Anwendungsgebiet ist das autonome Fahren, sowohl auf den Straßen als auch in Lager- und Fabrikhallen, Stichwort Intralogistik. Rechenkapazitäten und Intelligenz an Bord solcher Fahrzeuge sind unverzichtbar, um in Echtzeit Entscheidungen zu treffen – etwa die, beim Auftauchen eines Hindernisses rechtzeitig zu bremsen. Edge-KI-Plattformen wie Nvidia IGX sind darüber hinaus für Anwendungen im Medizinsektor ausgelegt. Beispiele sind Operationen mit Roboter-Unterstützung, die Fernversorgung von Patienten, die etwa an Diabetes leiden, und die automatisierte Auswertung von Röntgenaufnahmen.
(Bild: Rewe / Boris Saposchnikow)
Mithilfe von Edge-KI einkaufen
Auch im Einzelhandel, inklusive der Lagerhaltung und der Optimierung von Lieferketten, kommt Edge-KI bereits zum Zug. Beim Lebensmittelhändler Rewe können Kunden etwa in Filialen in Köln, Berlin und München kassenlos einkaufen. Gewichtssensoren und Kameras in Verbindung mit einer KI- und ML-Software erfassen, welche Waren ein Kunde in seine Einkaufstasche packt. Nach Verlassen des Ladengeschäfts wird die Rechnung über eine App auf das Smartphone transferiert. Den Betrag bucht die Software vom Konto des Kunden ab.
(Bild: Nvidia)„Wir befinden uns erst in den Anfängen von Edge-KI, und dennoch scheinen die möglichen Anwendungen grenzenlos zu sein.“
Ludwig von Reiche, Geschäftsführer von Nvidia Deutschland
Von dem Bremer Start-up Ubica Robotics stammt ein Roboter, der bei Rewe und der Drogeriekette Dm den Warenbestand ermittelt. Das System scannt mit 2D- und 3D-Kameras die Regale. Dadurch lässt sich ermitteln, welche Regale nachgefüllt werden müssen oder ob Produkte falsch einsortiert wurden. KI-Algorithmen optimieren anschließend die Lagerhaltung und die Bestellzyklen.
Fazit, Ausblick & Marktübersicht
Zweifellos bieten KI- und Machine-Learning-Funktionen am Rand von IT-Infrastrukturen, in Sensoren und Mikrocontrollern eine Vielzahl an Einsatzmöglichkeiten. „Wir befinden uns erst in den Anfängen von Edge-KI, und dennoch scheinen die möglichen Anwendungen grenzenlos zu sein“, betont denn auch Ludwig von Reiche von Nvidia. Die technischen Voraussetzungen sind vorhanden, etwa kompakte KI- und ML-Modelle für Sensoren, Mikrocontroller und kompakte Edge-Systeme.
Hinzu kommt der Ausbau der 5G-Mobilfunkinfrastruktur. Von 5G werden Edge-KI-Anwendungen in der Telemedizin, der Logistik und dem Gebäudemanagement profitieren. Doch die Technik ist nicht der allein entscheidende Faktor. Ebenso wichtig ist das Vertrauen der Nutzer in die Entscheidungen, die Machine-Learning- und KI-Algorithmen treffen. Hier besteht offenkundig noch ein erheblicher Nachholbedarf.
Services und Lösungen im Bereich Edge AI (Auswahl)
