Gewähren von Berechtigungen zur Verwendung großer Datenmengen während des gesamten ML-Lebenszyklus für Benutzer

Navigieren Sie zu den Domaineinstellungen von Amazon SageMaker AI:

1. Öffnen Sie die Konsole von Amazon SageMaker AI unter https://console.aws.amazon.com/sagemaker/.

2. Wählen Sie im linken Navigationsbereich die Option Domains aus.

3. Wählen Sie Ihre Domain aus.

4. Wechseln Sie zur Registerkarte App-Konfiguration.

5. Scrollen Sie zum Bereich Canvas und wählen Sie Bearbeiten aus.

Aktivieren Sie die Verarbeitung großer Datenmengen:

1. Aktivieren Sie im Abschnitt Konfiguration für die Verarbeitung großer Datenmengen die Option EMR Serverless für die Verarbeitung großer Datenmengen aktivieren.

2. Erstellen Sie eine EMR-Serverless-Rolle oder wählen Sie sie aus:

   1. Wählen Sie Eine neue Ausführungsrolle erstellen und verwenden, um eine neue IAM-Rolle zu erstellen, die eine Vertrauensbeziehung zu EMR Serverless und der zugehörigen verwaltete AWS-Richtlinie: AmazonSageMakerCanvasEMRServerlessExecutionRolePolicy-Richtlinie aufweist. Diese IAM-Rolle wird von Canvas übernommen, um EMR-Serverless-Aufträge zu erstellen.

   2. Wenn Sie bereits über eine Ausführungsrolle mit einer Vertrauensstellung für EMR Serverless verfügen, wählen Sie Bestehende Ausführungsrolle verwenden und wählen Sie Ihre Rolle aus der Dropdown-Liste aus.

      • Die bestehende Rolle muss einen Namen haben, der mit dem Präfix AmazonSageMakerCanvasEMRSExecutionAccess- beginnt.

      • Die von Ihnen ausgewählte Rolle sollte außerdem mindestens über die in der verwaltete AWS-Richtlinie: AmazonSageMakerCanvasEMRServerlessExecutionRolePolicy-Richtlinie beschriebenen Berechtigungen verfügen.

      • Die Rolle sollte über eine EMR–Serverless-Vertrauensrichtlinie verfügen, wie unten dargestellt:

        JSON

        {
            "Version": "2012-10-17",
            "Statement": [
                {
                    "Sid": "EMRServerlessTrustPolicy",
                    "Effect": "Allow",
                    "Principal": {
                        "Service": "emr-serverless.amazonaws.com"
                    },
                    "Action": "sts:AssumeRole",
                    "Condition": {
                        "StringEquals": {
                            "aws:SourceAccount": "111122223333"
                        }
                    }
                }
            ]
        }
        

(Optional) Fügen Sie Amazon S3-Berechtigungen für benutzerdefinierte Amazon-S3-Buckets hinzu:

1. Die von Canvas verwaltete Richtlinie gewährt automatisch Lese- und Schreibberechtigungen für Amazon-S3-Buckets, die sagemaker oder SageMaker AI in ihrem Namen enthalten. Es gewährt auch Leserechte für Objekte in benutzerdefinierten Amazon S3-Buckets mit dem Tag "SageMaker": "true".

2. Für benutzerdefinierte Amazon-S3-Buckets ohne das erforderliche Tag fügen Sie bitte die folgende Richtlinie zu Ihrer EMR-Serverless-Rolle hinzu:

3. JSON

   {
       "Version": "2012-10-17",
       "Statement": [
           {
               "Effect": "Allow",
               "Action": [
                   "s3:GetObject",
                   "s3:PutObject",
                   "s3:DeleteObject"
               ],
               "Resource": [
                   "arn:aws:s3:::*"
               ]
           }
       ]
   }
   

4. Wir empfehlen Ihnen, die Berechtigungen auf bestimmte Amazon-S3-Buckets zu beschränken, auf die Canvas zugreifen soll.

Speichern Sie Ihre Änderungen und starten Sie Ihre SageMaker-Canvas-Anwendung neu.

Fügen Sie Ihrer Ausführungsrolle von Amazon SageMaker AI Berechtigungen für den DescribeImages-Vorgang Amazon ECR hinzu, da Canvas öffentliche Docker-Images von Amazon ECR für die Datenaufbereitung und das Modelltraining verwendet:

1. Melden Sie sich bei der AWS-Konsole an und öffnen Sie die IAM-Konsole unter https://console.aws.amazon.com/iam/.

2. Wählen Sie Roles.

3. Suchen Sie im Suchfeld nach Ihrer SageMaker-AI-Ausführungsrolle anhand des Namens und wählen Sie diese aus.

4. Fügen Sie die folgende Richtlinie zu Ihrer SageMaker-AI-Ausführungsrolle hinzu. Dies kann entweder durch Hinzufügen als neue Inline-Richtlinie oder durch Anhängen der Richtlinienerklärung an eine bestehende Richtlinie erfolgen. Beachten Sie, dass einer IAM-Rolle maximal 10 Richtlinien zugeordnet werden können.

   JSON

   {
       "Version": "2012-10-17",
       "Statement": [{
           "Sid": "ECRDescribeImagesOperation",
           "Effect": "Allow",
           "Action": "ecr:DescribeImages",
           "Resource": [
               "arn:aws:ecr:*:*:repository/sagemaker-data-wrangler-emr-container",
               "arn:aws:ecr:*:*:repository/ap-dataprep-emr"
           ]
       }]
   }
   

Speichern Sie Ihre Änderungen und starten Sie Ihre SageMaker-Canvas-Anwendung neu.

Stellen Sie sicher, dass Ihre VPC-Subnetze privat sind:

1. Überprüfen Sie, ob die Routingtabelle für Ihre Subnetze keinen Eintrag 0.0.0.0/0 enthält, der einem Internet-Gateway zugeordnet ist.

Fügen Sie Berechtigungen zum Erstellen von Netzwerkschnittstellen hinzu:

1. Bei der Verwendung von SageMaker Canvas mit EMR Serverless für die Verarbeitung großer Datenmengen erfordert EMR Serverless die Möglichkeit, Amazon-EC2-ENIs zu erstellen, um die Netzwerkkommunikation zwischen EMR-Serverless-Anwendungen und Ihren VPC-Ressourcen zu ermöglichen.

2. Fügen Sie die folgende Richtlinie zu Ihrer Ausführungsrolle von Amazon SageMaker AI hinzu. Dies kann entweder durch Hinzufügen als neue Inline-Richtlinie oder durch Anhängen der Richtlinienerklärung an eine bestehende Richtlinie erfolgen. Beachten Sie, dass einer IAM-Rolle maximal 10 Richtlinien zugeordnet werden können.

   JSON

   {
       "Version": "2012-10-17",
       "Statement": [
           {
               "Sid": "AllowEC2ENICreation",
               "Effect": "Allow",
               "Action": [
                   "ec2:CreateNetworkInterface"
               ],
               "Resource": [
                   "arn:aws:ec2:*:*:network-interface/*"
               ],
               "Condition": {
                   "StringEquals": {
                       "aws:CalledViaLast": "ops.emr-serverless.amazonaws.com"
                   }
               }
           }
       ]
   }
   

(Optional) Beschränken Sie die ENI-Erstellung auf bestimmte Subnetze:

1. Um Ihre Konfiguration weiter zu sichern, indem Sie die Erstellung von ENIs auf bestimmte Subnetze innerhalb Ihrer VPC beschränken, können Sie jedes Subnetz mit bestimmten Bedingungen versehen.

2. Verwenden Sie die folgende IAM-Richtlinie, um sicherzustellen, dass EMR-Serverless-Anwendungen nur Amazon EC2 ENIs innerhalb der zulässigen Subnetze und Sicherheitsgruppen erstellen können:

   {
       "Sid": "AllowEC2ENICreationInSubnetAndSecurityGroupWithEMRTags",
       "Effect": "Allow", 
       "Action": [
           "ec2:CreateNetworkInterface"
       ],
       "Resource": [
           "arn:aws:ec2:*:*:subnet/*",
           "arn:aws:ec2:*:*:security-group/*"
       ],
       "Condition": {
           "StringEquals": {
               "aws:ResourceTag/KEY": "VALUE"
           }
       }
   }

Bitte befolgen Sie die Schritte auf der Seite Amazon SageMaker Canvas in einer VPC ohne Internetzugang konfigurieren, um den VPC-Endpunkt für Amazon S3 festzulegen, der von EMR Serverless und anderen von SageMaker Canvas verwendeten AWS-Services benötigt wird.

Speichern Sie Ihre Änderungen und starten Sie Ihre SageMaker-Canvas-Anwendung neu.