SageMaker Notebook-Aufträge
Sie können Amazon SageMaker AI verwenden, um Machine-Learning-Modell von Ihrem Jupyter Notebook aus interaktiv in jeder JupyterLab-Umgebung zu erstellen, zu trainieren und bereitzustellen. Es gibt jedoch verschiedene Szenarien, in denen Sie Ihr Notebook möglicherweise als nicht interaktiven, geplanten Auftrag ausführen möchten. Möglicherweise möchten Sie beispielsweise regelmäßige Auditberichte erstellen, in denen alle Trainingsaufgaben analysiert werden, die über einen bestimmten Zeitraum ausgeführt wurden, und in denen der geschäftliche Nutzen der Implementierung dieser Modelle in der Produktion analysiert wird. Oder Sie möchten einen Feature-Engineering-Auftrag skalieren, nachdem Sie die Datentransformationslogik an einer kleinen Teilmenge von Daten getestet haben. Andere häufige Anwendungsfälle sind:
-
Planung von Aufträgen für die Überwachung von Modellabweichungen
-
Erkundung des Parameterraums für bessere Modelle
In diesen Szenarien können Sie SageMaker-Notebook-Aufträge verwenden, um einen nicht interaktiven Auftrag zu erstellen (den SageMaker AI als zugrunde liegenden Trainingsjob ausführt), der entweder bei Bedarf oder nach einem Zeitplan ausgeführt wird. SageMaker Notebook Aufträge bieten eine intuitive Benutzeroberfläche, mit der Sie Ihre Aufträge direkt von JupyterLab aus planen können, indem Sie das Widget Notebook-Aufträge (
) in Ihrem Notebook auswählen. Sie können Ihre Jobs auch mit dem SageMaker AI Python SDK planen, das die Flexibilität bietet, mehrere Notebook-Jobs in einem Pipeline-Workflow zu planen. Sie können mehrere Notebooks parallel ausführen und Zellen in Ihren Notebooks parametrisieren, um die Eingabeparameter anzupassen.
Dieses Feature nutzt die Services Amazon EventBridge, SageMaker Training und Pipelines und kann in Ihrem Jupyter Notebook in einer der folgenden Umgebungen verwendet werden:
-
Studio-, Studio Lab-, Studio Classic- oder Notebook-Instancen
-
Lokales Setup, z. B. Ihr lokaler Computer, auf dem Sie JupyterLab ausführen
Voraussetzungen
Um ein Notebook-Projekt zu planen, stellen Sie sicher, dass die folgenden Kriterien erfüllt sind:
-
Stellen Sie sicher, dass Ihr Jupyter Notebook und alle Initialisierungs- oder Startskripts in Bezug auf Code und Softwarepakete eigenständig sind. Andernfalls kann es bei Ihrem nicht interaktiven Auftrag zu Fehlern kommen.
-
Überprüfen Sie Einschränkungen und Überlegungen, ob Sie Ihr Jupyter Notebook, die Netzwerkeinstellungen und die Container-Einstellungen richtig konfiguriert haben.
-
Stellen Sie sicher, dass Ihr Notebook auf benötigte externe Ressourcen wie Amazon EMR-Cluster zugreifen kann.
-
Wenn Sie Notebook-Aufträge in einem lokalen Jupyter Notebook einrichten, schließen Sie die Installation ab. Detaillierte Anweisungen finden Sie unter Installationshandbuch.
-
Wenn Sie eine Verbindung zu einem Amazon EMR-Cluster in Ihrem Notebook herstellen und Ihren Amazon EMR-Verbindungsbefehl parametrisieren möchten, müssen Sie eine Problemumgehung anwenden, indem Sie Umgebungsvariablen verwenden, um Parameter zu übergeben. Details hierzu finden Sie unter Stellen Sie von Ihrem Studio-Notebook aus eine Connect zu einem Amazon-EMR-Cluster her.
-
Wenn Sie mithilfe der Kerberos-, LDAP- oder HTTP Basic Auth-Authentifizierung eine Verbindung zu einem Amazon EMR-Cluster herstellen, müssen Sie die AWS Secrets Manager verwenden, um Ihre Sicherheitsanmeldeinformationen an Ihren Amazon EMR-Verbindungsbefehl zu übergeben. Details hierzu finden Sie unter Stellen Sie von Ihrem Studio-Notebook aus eine Connect zu einem Amazon-EMR-Cluster her.
-
(optional) Wenn Sie möchten, dass die Benutzeroberfläche ein Skript vorinstalliert, das beim Start des Notebooks ausgeführt wird, muss Ihr Administrator es mit einer Lifecycle Configuration (LCC) installieren. Informationen zur Verwendung eines LCC-Skripts finden Sie unter Anpassen einer Notebook-Instance mithilfe eines Lifecycle-Konfigurationsskripts.
