Empfehlungen für die Auswahl des richtigen Datenaufbereitungstools in SageMaker AI - Amazon SageMaker AI
Auswählen eines Features

Empfehlungen für die Auswahl des richtigen Datenaufbereitungstools in SageMaker AI

Datenvorbereitung beim maschinellen Lernen bezieht sich auf den Prozess des Sammelns, Vorverarbeitens und Organisierens von Rohdaten, um sie für die Analyse und Modellierung geeignet zu machen. Dieser Schritt stellt sicher, dass die Daten in einem Format vorliegen, aus dem Algorithmen für maschinelles Lernen effektiv lernen können. Zu den Aufgaben der Datenvorbereitung können der Umgang mit fehlenden Werten, das Entfernen von Ausreißern, die Skalierung von Merkmalen, die Kodierung kategorialer Variablen, die Bewertung potenzieller Verzerrungen und die Ergreifung von Maßnahmen zu ihrer Minderung, die Aufteilung der Daten in Trainings- und Testsätze, die Kennzeichnung und andere notwendige Transformationen gehören, um die Qualität und Verwendbarkeit der Daten für nachfolgende maschinelle Lernaufgaben zu optimieren.

Auswählen eines Features

Es gibt drei Hauptanwendungsfälle für die Datenaufbereitung mit Amazon SageMaker AI. Wählen Sie den Anwendungsfall aus, der Ihren Anforderungen entspricht, und lesen Sie dann die entsprechende empfohlene Funktion.

Anwendungsfälle

Im Folgenden sind die wichtigsten Anwendungsfälle bei der Datenvorbereitung für Machine Learning aufgeführt.

  • Anwendungsfall 1: Für diejenigen, die eine visuelle Oberfläche bevorzugen, bietet SageMaker AI Möglichkeiten, Funktionen für das Modelltraining in einer Point-and-Click-Umgebung zu erkunden, vorzubereiten und zu entwickeln.

  • Anwendungsfall 2: Für Benutzer, die sich mit dem Programmieren auskennen und mehr Flexibilität und Kontrolle über die Datenaufbereitung wünschen, integriert SageMaker AI Tools für Exploration, Transformationen und Feature-Engineering in seine Codierungsumgebungen.

  • Anwendungsfall 3: Für Benutzer, die sich auf skalierbare Datenaufbereitung konzentrieren, bietet SageMaker AI serverlose Funktionen, die das Hadoop/Spark-Ökosystem für die verteilte Verarbeitung von Big Data nutzen.

In der folgenden Tabelle sind die wichtigsten Überlegungen und Kompromisse für die KI-Funktionen von SageMaker in Bezug auf jeden Anwendungsfall der Datenvorbereitung für maschinelles Lernen aufgeführt. Identifizieren Sie zunächst den Anwendungsfall, der Ihren Anforderungen entspricht, und navigieren Sie zu der empfohlenen SageMaker AI-Funktion.

Deskriptor Anwendungsfall 1 Anwendungsfall 2 Anwendungsfall 3
SageMaker-AI-Feature Data Wrangler in Amazon SageMaker Canvas Datenaufbereitung mit SQL in Studio Daten vorbereiten mit EMR Serverless-Anwendungen in Studio
Beschreibung SageMaker Canvas ist eine visuelle Low-Code-Umgebung zum Erstellen, Trainieren und Bereitstellen von Machine-Learning-Modellen in SageMaker AI. Das integrierte Data Wrangler-Tool ermöglicht es Benutzern, Datensätze durch Point-and-Click-Interaktionen zu kombinieren, zu transformieren und zu bereinigen. Mit der SQL-Erweiterung in Studio können Benutzer eine Verbindung zu Amazon Redshift, Snowflake, Athena und Amazon S3 herstellen, um Ad-hoc-SQL-Abfragen zu erstellen und eine Vorschau der Ergebnisse in JupyterLab-Notebooks anzuzeigen. Die Ausgabe dieser Abfragen kann mithilfe von und zur zusätzlichen Verarbeitung, Visualisierung Python und Umwandlung in Formate manipuliert werden, Pandas die für die Modellentwicklung mit maschinellem Lernen verwendet werden können. Die Integration zwischen EMR Serverless und Amazon SageMaker Studio bietet eine skalierbare serverlose Umgebung für die groß angelegte Datenvorbereitung für maschinelles Lernen mithilfe von Open-Source-Frameworks wie Apache Spark und Apache Hive. Benutzer können von ihren Studio-Notebooks aus direkt auf serverlose EMR-Anwendungen und -Daten zugreifen, um ihre Datenvorbereitungsaufgaben in großem Umfang durchzuführen.
Optimiert für Verwenden Sie eine visuelle Oberfläche, in der Sie:

Optimiert für tabellarische Datenaufgaben wie den Umgang mit fehlenden Werten, die Kodierung kategorialer Variablen und die Anwendung von Datentransformationen.

 Für Benutzer, deren Daten in Amazon Redshift, Snowflake, Athena oder Amazon S3 gespeichert sind und die exploratives SQL mit der Datenanalyse und -vorbereitung kombinieren möchten, Python ohne dass sie lernen müssen. Spark Für Benutzer, die ein serverloses Erlebnis mit automatischer Ressourcenbereitstellung und Terminierung für die Skalierung kurzzeitiger oder intermittierender interaktiver Workloads rund um Apache Spark bevorzugen und gleichzeitig die maschinellen Lernfunktionen von SageMaker AI nutzen.
Überlegungen

  • Es ist möglicherweise nicht die optimale Wahl, wenn Ihr Team bereits über Kenntnisse in Python, Spark oder anderen Sprachen verfügt.

  • Es ist möglicherweise nicht die beste Lösung, wenn Sie volle Flexibilität benötigen, um Transformationen anzupassen, um komplexe Geschäftslogik hinzuzufügen, oder wenn Sie die volle Kontrolle über Ihre Datenverarbeitungsumgebung benötigen.

  • Diese Funktion ist nur für strukturierte Daten konzipiert, die sich in Amazon Redshift, Snowflake, Athena oder Amazon S3 befinden.

  • Wenn die Größe Ihrer Abfrageergebnisse den Speicher Ihrer SageMaker AI-Instance übersteigt, finden Sie im folgenden Notebook eine Anleitung zu den ersten Schritten mit Athena, um Ihre Daten für die Aufnahme durch einen SageMaker AI-Algorithmus vorzubereiten.

  • Die Lernkurve für Benutzer, die mit serverlosen EMR-Anwendungen und Spark-basierten Tools nicht vertraut sind, kann eine Herausforderung sein.

  • Diese Funktion eignet sich besser für interaktive Datenvorbereitungsaufgaben und ist möglicherweise nicht so effizient wie Amazon EMR-Cluster für umfangreiche, lang andauernde oder komplexe Datenverarbeitungsanforderungen mit riesigen Datenmengen, umfassender Integration mit anderen Services, benutzerdefinierten Anwendungen oder diversen verteilten Datenverarbeitungs-Frameworks, die über Apache Spark hinausgehen.

  • Serverloses Computing kann zwar für kurzlebige Aufgaben kostengünstig sein, es ist jedoch wichtig, die Kosten sorgfältig zu überwachen und zu verwalten, insbesondere bei lang andauernden oder ressourcenintensiven Workloads.
Empfohlene Umgebung Erste Schritte bei der Verwendung von SageMaker Canvas Starten Sie Studio Starten Sie Studio

Zusätzliche Optionen

SageMaker AI bietet die folgenden zusätzlichen Optionen zur Vorbereitung Ihrer Daten für die Verwendung in Modellen für maschinelles Lernen.