Modellbereitstellung am Edge mit SageMaker Edge Manager

Amazon SageMaker Edge Manager bietet ein Modellmanagement für Edge-Geräte. Damit können Sie Machine-Learning-Modelle auf Flotten von Edge-Geräten wie Smart-Kameras, Robotern, PCs und mobilen Endgeräten optimieren, sichern, überwachen und verwalten.

Warum Edge Manager verwenden?

In vielen Anwendungsfällen für Machine Learning (ML) müssen ML-Modelle auf einer Flotte von Edge-Geräten laufen. So können Sie Prognosen in Echtzeit abrufen, die Daten der Endnutzer schützen und die Kosten für die Netzwerkkonnektivität senken. Mit der zunehmenden Verfügbarkeit von Edge-Hardware mit geringem Stromverbrauch, die für ML entwickelt wurde, ist es jetzt möglich, das mehrere komplexe neuronale Netzwerkmodelle auf Edge-Geräten laufen.

Der Betrieb von ML-Modellen auf Edge-Geräten ist jedoch eine Herausforderung, da die Geräte im Unterschied zu Cloud-Instances nur über begrenzte Rechenleistung, Speicherplatz und Konnektivität verfügen. Wenn das Modell bereitgestellt wird, müssen Sie die Modelle kontinuierlich überwachen, da Modellabweichungen dazu führen können, dass die Qualität des Modells mit der Zeit nachlässt. Die Überwachung von Modellen für Ihre Geräteflotten ist schwierig, da Sie eigens dafür bestimmten Code schreiben müssen, um Datenstichproben von Ihrem Gerät zu nehmen und fehlerhafte Vorhersagen zu erkennen. Darüber hinaus sind Modelle häufig fest in der Anwendung codiert. Um das Modell zu aktualisieren, müssen Sie die gesamte Anwendungs- oder Gerätefirmware neu erstellen und aktualisieren, was Ihren Betrieb stören kann.

Mit SageMaker Edge Manager können Sie Machine-Learning-Modelle für Geräteflotten am Edge optimieren, ausführen, überwachen und aktualisieren.

Wie das funktioniert?

Im Großen und Ganzen besteht der Workflow des SageMaker Edge Manager aus fünf Hauptkomponenten: Kompilieren von Modellen mit SageMaker AI Neo, Verpacken von mit NEO-kompilierten Modellen, Einsatz der Modelle auf Ihren Geräten, Ausführung von Modellen auf dem SageMaker-AI-Inferenz-Engine (Edge Manager-Agent) und Verwaltung von Modellen auf den Geräten.

SageMaker Edge Manager verwendet SageMaker Neo zur Optimierung Ihrer Modelle für die Zielhardware mit einem Klick. Ihre Modelle werden dann vor der Bereitstellung kryptografisch signiert. Mit SageMaker Edge Manager können Sie Modelleingabe- und -ausgabedaten von Edge-Geräten abfragen und zur Überwachung und Analyse an die Cloud senden. Außerdem können Sie in der SageMaker-AI-Konsole ein Dashboard aufrufen, das den Betrieb der bereitgestellten Modelle verfolgt und grafisch darstellt.

Mit SageMaker Edge Manager werden Funktionen erweitert, die bisher nur in der Cloud verfügbar waren, auf das Edge, so dass Entwickler die Modellqualität kontinuierlich verbessern können, indem sie Amazon SageMaker Model Monitor für die Drifterkennung verwenden, die Daten anschließend mit SageMaker AI Ground Truth neu kennzeichnen und die Modelle in SageMaker AI neu trainieren.

Wie verwende ich SageMaker Edge Manager?

Wenn Sie den SageMaker Edge Manager zum ersten Mal verwenden, empfehlen wir Ihnen, wie folgt vorzugehen: