Beschleunigen Sie den Start von Containern mit SOCI - Amazon SageMaker KI

Die vorliegende Übersetzung wurde maschinell erstellt. Im Falle eines Konflikts oder eines Widerspruchs zwischen dieser übersetzten Fassung und der englischen Fassung (einschließlich infolge von Verzögerungen bei der Übersetzung) ist die englische Fassung maßgeblich.

Beschleunigen Sie den Start von Containern mit SOCI

Die SOCI-Indizierung (Seekable Open Container Initiative) ermöglicht das verzögerte Laden von benutzerdefinierten Container-Images in Amazon SageMaker Studio oder Amazon SageMaker Unified Studio. SOCI reduziert die Startzeiten für Ihre benutzerdefinierten Container erheblich um etwa 30-70%. Bring Your Own Image (BYOI) Die Verbesserung der Latenz hängt von der Größe des Images, der Verfügbarkeit der Hosting-Instanz und anderen Anwendungsabhängigkeiten ab. SOCI erstellt einen Index, der es Containern ermöglicht, nur mit den erforderlichen Komponenten zu starten und bei Bedarf zusätzliche Dateien bei Bedarf abzurufen.

SOCI begegnet langsamen Startzeiten von Containern für benutzerdefinierte Images, die die iterativen Entwicklungsworkflows für maschinelles Lernen (ML) unterbrechen. Da ML-Workloads immer komplexer werden, sind Container-Images immer größer geworden, was zu Verzögerungen beim Start führt, die die Entwicklungszyklen behindern.

Wichtigste Vorteile

  • Schnellere Iterationszyklen: Je nach Image- und Instanztyp reduzieren Sie den Start von Containern

  • Universelle Optimierung: Erweitern Sie die Leistungsvorteile auf alle benutzerdefinierten BYOI-Container in Studio

Wie funktioniert die SOCI-Indizierung

SOCI erstellt einen speziellen Metadatenindex, der die interne Dateistruktur Ihres Container-Images abbildet. Dieser Index ermöglicht den Zugriff auf einzelne Dateien, ohne das gesamte Bild herunterzuladen. Der SOCI-Index wird als OCI-konformes Artefakt (Open Container Initiative) in Amazon ECR gespeichert und mit Ihrem ursprünglichen Container-Image verknüpft, sodass die Image-Digests und die Signaturgültigkeit erhalten bleiben.

Wenn Sie einen Container in Studio starten, verwendet das System den SOCI-Index, um nur wichtige Dateien zu identifizieren und herunterzuladen, die für den Start benötigt werden. Zusätzliche Komponenten werden parallel abgerufen, wenn Ihre Anwendung sie benötigt.

Architekturkomponenten

  • Originalbild des Containers: Ihr in Amazon ECR gespeicherter Basiscontainer

  • SOCI-Index-Artefakt: Metadaten, die die Dateistruktur Ihres Images abbilden

  • OCI-Bildindex-Manifest: Verknüpft Ihr Originalbild und Ihren SOCI-Index

  • Finch-Container-Laufzeit: Ermöglicht die Lazy-Loading-Integration mit Studio

Unterstützte Tools

Tool Integration
nerdctl Erfordert ein Container-Setup
Finch CLI Native SOCI-Unterstützung
Docker+SOCI-CLI Zusätzliche Werkzeuge erforderlich