Die vorliegende Übersetzung wurde maschinell erstellt. Im Falle eines Konflikts oder eines Widerspruchs zwischen dieser übersetzten Fassung und der englischen Fassung (einschließlich infolge von Verzögerungen bei der Übersetzung) ist die englische Fassung maßgeblich.
Empfehlungen zur Auswahl des richtigen Tools zur Datenaufbereitung in SageMaker KI
Datenvorbereitung beim maschinellen Lernen bezieht sich auf den Prozess des Sammelns, Vorverarbeitens und Organisierens von Rohdaten, um sie für die Analyse und Modellierung geeignet zu machen. Dieser Schritt stellt sicher, dass die Daten in einem Format vorliegen, aus dem Algorithmen für maschinelles Lernen effektiv lernen können. Zu den Aufgaben der Datenvorbereitung können der Umgang mit fehlenden Werten, das Entfernen von Ausreißern, die Skalierung von Merkmalen, die Kodierung kategorialer Variablen, die Bewertung potenzieller Verzerrungen und die Ergreifung von Maßnahmen zu ihrer Minderung, die Aufteilung der Daten in Trainings- und Testsätze, die Kennzeichnung und andere notwendige Transformationen gehören, um die Qualität und Verwendbarkeit der Daten für nachfolgende maschinelle Lernaufgaben zu optimieren.
Auswählen eines Features
Es gibt drei Hauptanwendungsfälle für die Datenaufbereitung mit Amazon SageMaker AI. Wählen Sie den Anwendungsfall aus, der Ihren Anforderungen entspricht, und lesen Sie dann die entsprechende empfohlene Funktion.
Anwendungsfälle
Im Folgenden sind die wichtigsten Anwendungsfälle bei der Datenvorbereitung für Machine Learning aufgeführt.
-
Anwendungsfall 1: Für diejenigen, die eine visuelle Oberfläche bevorzugen, bietet SageMaker KI Möglichkeiten, Funktionen für das Modelltraining mithilfe einer Point-and-Click-Umgebung zu erkunden, vorzubereiten und zu entwickeln.
-
Anwendungsfall 2: Für Benutzer, die mit dem Programmieren vertraut sind und mehr Flexibilität und Kontrolle über die Datenaufbereitung wünschen, integriert SageMaker KI Tools zur Erkundung, Transformation und Feature-Engineering in ihre Programmierumgebungen.
-
Anwendungsfall 3: Für Benutzer, die sich auf skalierbare Datenaufbereitung konzentrieren, bietet SageMaker KI serverlose Funktionen, die das Hadoop/Spark Ökosystem für die verteilte Verarbeitung großer Datenmengen nutzen.
Empfohlene Features
In der folgenden Tabelle werden die wichtigsten Überlegungen und Kompromisse für die SageMaker KI-Funktionen im Zusammenhang mit den einzelnen Anwendungsfällen zur Datenaufbereitung für maschinelles Lernen beschrieben. Identifizieren Sie zunächst den Anwendungsfall, der Ihren Anforderungen entspricht, und navigieren Sie zu der empfohlenen SageMaker KI-Funktion.
| Deskriptor | Anwendungsfall 1 | Anwendungsfall 2 | Anwendungsfall 3 |
|---|---|---|---|
| SageMaker KI-Funktion | Data Wrangler innerhalb von Amazon Canvas SageMaker | Datenaufbereitung mit SQL in Studio | Daten vorbereiten mit EMR Serverless-Anwendungen in Studio |
| Description | SageMaker Canvas ist eine visuelle Low-Code-Umgebung zum Erstellen, Trainieren und Bereitstellen von Modellen für maschinelles Lernen in KI. SageMaker Das integrierte Data Wrangler-Tool ermöglicht es Benutzern, Datensätze durch Point-and-Click-Interaktionen zu kombinieren, zu transformieren und zu bereinigen. | Die SQL-Erweiterung in Studio ermöglicht es Benutzern, eine Verbindung zu Amazon Redshift, Snowflake, Athena und Amazon S3 herzustellen, um Ad-hoc-SQL-Abfragen zu erstellen und eine Vorschau der Ergebnisse in Notizbüchern anzuzeigen. JupyterLab Die Ausgabe dieser Abfragen kann mithilfe von und zur zusätzlichen Verarbeitung, Visualisierung Python und Umwandlung in Formate manipuliert werden, Pandas die für die Modellentwicklung mit maschinellem Lernen verwendet werden können. | Die Integration zwischen EMR Serverless und Amazon SageMaker Studio bietet eine skalierbare serverlose Umgebung für die umfangreiche Datenvorbereitung für maschinelles Lernen mithilfe von Open-Source-Frameworks wie Apache Spark und Apache Hive. Benutzer können von ihren Studio-Notebooks aus direkt auf serverlose EMR-Anwendungen und -Daten zugreifen, um ihre Datenvorbereitungsaufgaben in großem Umfang durchzuführen. |
| Optimiert für | Verwenden Sie eine visuelle Oberfläche, in der Sie:
Optimiert für tabellarische Datenaufgaben wie den Umgang mit fehlenden Werten, die Kodierung kategorialer Variablen und die Anwendung von Datentransformationen. |
Für Benutzer, deren Daten in Amazon Redshift, Snowflake, Athena oder Amazon S3 gespeichert sind und die explorative SQL für die Datenanalyse und Python kombinieren möchten, ohne sich in neue Technologien einarbeiten zu müssen. | Für Benutzer, die ein serverloses Erlebnis mit automatischer Ressourcenbereitstellung und -beendigung bevorzugen, um kurzzeitige oder intermittierende interaktive Workloads rund um Apache Spark zu skalieren und gleichzeitig die maschinellen Lernfunktionen von KI zu nutzen. SageMaker |
| Überlegungen |
|
|
|
| Empfohlene Umgebung | Erste Schritte mit der Verwendung von Canvas SageMaker | Starten Sie Studio | Starten Sie Studio |
Zusätzliche Optionen
SageMaker KI bietet die folgenden zusätzlichen Optionen, um Ihre Daten für die Verwendung in Modellen für maschinelles Lernen vorzubereiten.
-
Datenaufbereitung mit Amazon EMR: Für langwierige, rechenintensive und umfangreiche Datenverarbeitungsaufgaben sollten Sie die Verwendung von Amazon EMR-Clustern aus Studio in Betracht ziehen. SageMaker Amazon EMR-Cluster sind für massive Parallelisierung konzipiert und können auf Hunderte oder Tausende von Knoten skaliert werden, sodass sie sich gut für Big-Data-Workloads eignen, die Frameworks wie Apache Spark, Hadoop, Hive und Presto erfordern. Die Integration von Amazon EMR mit SageMaker Studio ermöglicht es Ihnen, die Skalierbarkeit und Leistung von Amazon EMR zu nutzen und gleichzeitig Ihre gesamten ML-Experimente, Modellschulungen und -bereitstellungen zentralisiert und in der Studio-Umgebung zu verwalten. SageMaker
-
Daten mithilfe interaktiver Glue-Sitzungen vorbereiten: Sie können die Apache Spark-based Serverless Engine aus AWS Glue interaktiven Sitzungen heraus verwenden, um Daten aus mehreren Quellen in Studio zu aggregieren, zu transformieren und vorzubereiten. SageMaker
-
Identifizieren Sie mithilfe von Amazon SageMaker Clarify-Verarbeitungsaufträgen Verzerrungen in Trainingsdaten: SageMaker Clarify analysiert Ihre Daten und erkennt potenzielle Verzerrungen in mehreren Facetten. Sie können beispielsweise die Clarify API in Studio verwenden, um zu erkennen, ob Ihre Trainingsdaten unausgewogene Repräsentationen oder Kennzeichnungsfehler zwischen Gruppen wie Geschlecht, Rasse oder Alter enthalten. Clarify kann Ihnen helfen, diese Verzerrungen zu identifizieren, bevor Sie ein Modell trainieren, um zu verhindern, dass sich Verzerrungen in den Vorhersagen des Modells ausbreiten.
-
Funktionen erstellen, speichern und teilen: Amazon SageMaker Feature Store optimiert die Erkennung und Wiederverwendung kuratierter Funktionen für maschinelles Lernen. Es bietet ein zentrales Repository zum Speichern von Funktionsdaten, die für das Modelltraining durchsucht und abgerufen werden können. Das Speichern von Features in einem standardisierten Format ermöglicht die Wiederverwendung in ML-Projekten. Der Feature Store verwaltet den gesamten Lebenszyklus von Funktionen, einschließlich der Nachverfolgung der Herkunft, Statistiken und Prüfpfade für skalierbares und kontrolliertes Feature-Engineering mit maschinellem Lernen.
-
Kennzeichnen Sie Daten mit einem Menschen, der auf dem Laufenden ist: Sie können SageMaker Ground Truth verwenden, um die Workflows zur Datenkennzeichnung Ihrer Trainingsdatensätze zu verwalten.
-
Verwenden Sie die SageMaker Verarbeitungs-API: Nachdem Sie eine explorative Datenanalyse durchgeführt und Ihre Schritte zur Datentransformation erstellt haben, können Sie Ihren Transformationscode mithilfe von SageMaker KI-Verarbeitungsjobs in Produktion bringen und Ihren Vorbereitungsworkflow mithilfe von Model Building Pipelines automatisieren. SageMaker
