Versionshinweise zur Modell-Parallelitätsbibliothek von SageMaker AI

Das SMP-Gradientennorm-Clipping unterstützt jetzt die Aktivierungsauslagerung.

Unterstützung für PyTorch v2.5.1 hinzugefügt

Die CUDA-Unterstützung wurde auf v12.4 aktualisiert.

Die NCCL-Unterstützung wurde auf v2.23.4 aktualisiert.

Die SMDDP-Bibliothek wurde auf 2.6.0 aktualisiert.

SMP-Docker-Container für PyTorch v2.5.1 mit CUDA v12.4

658645717510.dkr.ecr.<us-west-2>.amazonaws.com/smdistributed-modelparallel:2.5.1-gpu-py311-cu124

SMP-Enroot-Container für PyTorch v2.5.1 mit CUDA v12.4

https://sagemaker-distributed-model-parallel.s3.<us-west-2>.amazonaws.com/enroot/2.5.1-gpu-py311-cu124.sqsh

Vorinstallierte Pakete

https://sagemaker-distributed-model-parallel.s3.us-west-2.amazonaws.com/smp-v2/

Unterstützung für SageMaker-HyperPod-Rezepte hinzugefügt.

SMP-Docker-Container für PyTorch v2.4.1 mit CUDA v12.1

658645717510.dkr.ecr.<us-west-2>.smdistributed-modelparallel:2.4.1-gpu-py311-cu121

SMP-Enroot-Container für PyTorch v2.4.1 mit CUDA v12.1

https://sagemaker-distributed-model-parallel.s3.<us-west-2>.amazonaws.com/enroot/2.4.1-gpu-py311-cu121.sqsh

Vorinstallierte Pakete

https://sagemaker-distributed-model-parallel.s3.us-west-2.amazonaws.com/smp-v2/

Es wurde ein ImportError-Problem behoben, das bei der Verwendung älterer Trainingsskripte mit SMP v2.6.0 auftrat. Dies behebt die Abwärtsinkompatibilität mit SMP v2.6.0.

Es wurde eine DeprecationWarning für torch.sagemaker.distributed.fsdp.checkpoint hinzugefügt. Dieses Modul wird in SMP v2.7.0 nicht mehr unterstützt und entfernt. Wenn Sie derzeit torch.sagemaker.distributed.fsdp.checkpoint in Ihrem Code verwenden, sollten Sie Ihre Skripts vor der Veröffentlichung von SMP v2.7.0 aktualisieren, um zukünftige Probleme zu vermeiden.

Ein in SMP v2.6.0 festgestelltes Problem mit der Abwärtskompatibilität wurde behoben. Dieses Problem stand im Zusammenhang mit der veralteten Checkpoint-Methode USE_PG_WITH_UTIL in SMP v2.6.0, wodurch die Abwärtskompatibilität mit früheren Versionen von Trainingsskripten beeinträchtigt wurde. Um dieses Problem zu beheben, führen Sie Ihre PyTorch-Trainingsjobs erneut aus, um den neuesten SMP-Container abzurufen, der mit SMP v2.6.1 vorkonfiguriert ist.

SMP-Docker-Container für PyTorch v2.4.1 mit CUDA v12.1

658645717510.dkr.ecr.<us-west-2>.amazonaws.com/smdistributed-modelparallel:2.4.1-gpu-py311-cu121

Vorinstallierte Pakete

https://sagemaker-distributed-model-parallel.s3.us-west-2.amazonaws.com/smp-v2/

Die folgenden LLM-Modellkonfigurationen werden nun unterstützt. Sie können mit der Verwendung von Kontextparallelität und Tensor-Parallelität beginnen.

Für die folgenden Mixtral-Modellkonfigurationen wird nun Tensor-Parallelität unterstützt.

Eine AllGather-basierte Implementierung von Kontextparallelität wird nun unterstützt, die die kollektive AllGather-Kommunikation nutzt, um die vollständige Sequenz von Schlüssel- und Wert-Tensoren zu erhalten. Verfügbare Implementierungen sind p2p und all_gather. Die p2p-Implementierung verwendet Peer-to-Peer-Aufrufe zum Senden/Empfangen für die Ansammlung von Schlüssel- und Werte-Tensoren (KV) während der Aufmerksamkeitsberechnung. Sie läuft asynchron, sodass Überschneidungen von Kommunikation und Datenverarbeitung möglich sind. Andererseits verwendet die all_gather-Implementierung die kollektive AllGather-Kommunikationsoperation für die Ansammlung von KV-Tensoren. Informationen zur Anwendung dieser Implementierung von Kontextparallelität finden Sie unter Kontextparallelität.

Die Einstellung des RoPE-Theta-Werts (Rotary Position Embedding) wird nun unterstützt.

Es wurde ein Fehler behoben, bei dem Rotary Position Embedding (RoPE) beim Vortraining nicht richtig initialisiert wurde, wenn die verzögerte Parameterinitialisierung aktiviert war.

Transformer Engine unterstützt derzeit keine Kontextparallelität oder FP8 bei aktivierter Sliding Window Attention. Daher unterstützt die SMP-Version von Mistral Transformers keine Kontextparallelität und kein FP8-Training, wenn die Sliding-Window-Konfiguration auf einen Wert ungleich Null gesetzt ist.

PyTorch wurde auf v2.4.1 upgegradet

Megatron auf v0.8.0 aktualisiert

TransformerEngine-Bibliothek auf v1.10 aktualisiert

Transformers auf v4.44.2 aktualisiert

cuDNN auf v9.4.0.58 aktualisiert

SMP-Docker-Container für PyTorch v2.4.1 mit CUDA v12.1

658645717510.dkr.ecr.<us-west-2>.amazonaws.com/smdistributed-modelparallel:2.4.1-gpu-py311-cu121

Vorinstallierte Pakete

https://sagemaker-distributed-model-parallel.s3.us-west-2.amazonaws.com/smp-v2/

Das Training mit gemischter Präzision unter Verwendung des FP8-Datenformats auf P5-Instances für das Mixtral-Modell wird nun unterstützt.

Kontextparallelität wird nun für die folgenden Modellkonfigurationen unterstützt.

Das asynchrone Speichern von Checkpoints wird nun unterstützt. Weitere Informationen hierzu finden Sie unter Checkpointing mit SMP.

Es wurde ein Problem behoben, das bei der Llama-Optimierung zu unerwartet hohen Anfangsverlusten führte, wenn ein vortrainierter Modell-Checkpoint geladen und die Tensorparallelität verwendet wurde.

Um das Aktivierungs-Checkpointing für Mixtral mit gemischter FP8-Präzision zu verwenden, müssen Sie die Aufmerksamkeits- und Expertenebenen separat überprüfen. Ein Beispiel für die korrekte Einrichtung finden Sie im Beispiel-Trainingsskript im Beispiel-Repository von Amazon SageMaker AI.

Der Lastenausgleich in der MoE-Konfiguration (torch.sagemaker.moe.moe_config.MoEConfig) ist derzeit nicht mit dem Aktivierungs-Checkpoint kompatibel.

Bei der Kontextparallelität weist GPT-NeoX sowohl bei dem Vortraining als auch bei der Optimierung einen Leistungsrückgang auf.

Bei GPT-NeoX auf P4-Instances führt das direkte Laden von Gewichtungen aus einem transformierten Modell mit verzögerter Parameterinitialisierung in ein Transformer-Modell von Hugging Face zu einer Verlust-Fehlanpassung im ersten Schritt.

Die FlashAttention-Bibliothek wurde auf v2.5.8 aktualisiert.

TransformerEngine-Bibliothek auf v1.8 aktualisiert

SMP-Docker-Container für PyTorch v2.3.1 mit CUDA v12.1

658645717510.dkr.ecr.<region>.amazonaws.com/smdistributed-modelparallel:2.3.1-gpu-py311-cu121

Eine vollständige Liste der unterstützten Regionen finden Sie unter AWS-Regionen.

Vorinstallierte Pakete

https://sagemaker-distributed-model-parallel.s3.us-west-2.amazonaws.com/smp-v2/

Es wurde ein Fehler behoben, der zu falschen Logit-Formen führte, wenn bei der Verwendung des SMP-Transformers im Vorwärtsdurchlauf keine Beschriftungen übergeben wurden.

Unterstützung für PyTorch v2.3.1 hinzugefügt

Unterstützung für Python v3.11 hinzugefügt

Die Bibliothek Hugging Face Transformers v4.40.1 wird nun unterstützt.

Die Unterstützung für Python v3.10 wurde eingestellt.

Die Unterstützung für die Versionen der Bibliothek Hugging Face Transformers vor v4.40.1 wurde eingestellt.

Es wurde ein Patch hinzugefügt, mit dem beim Speichern deduplizierter Tensoren zwischen verschiedenen Rängen gewechselt werden kann. Weitere Informationen finden Sie im Diskussionsthread im PyTorch-GitHub-Repository.

Es ist bekannt, dass es bei der Optimierung von Llama-3 70B mit Tensorparallelität zu Verlustspitzen und dann zu einem höheren Verlustwert kommen kann.

Die SMDDP-Bibliothek wurde auf v2.3.0 aktualisiert.

Die NCCL-Bibliothek wurde auf v2.21.5 aktualisiert.

Die EFA-Software wurde auf v1.32.0 aktualisiert.

Die Installation der Bibliothek Torch Distributed Experimental (torchdistX) wurde eingestellt.

SMP-Docker-Container für PyTorch v2.3.1 mit CUDA v12.1

658645717510.dkr.ecr.us-west-2.amazonaws.com/smdistributed-modelparallel:2.3.1-gpu-py311-cu121

Vorinstallierte Pakete

https://sagemaker-distributed-model-parallel.s3.us-west-2.amazonaws.com/smp-v2/

Es wurde ein ImportError-Problem behoben, das bei der Verwendung von moe_load_balancing=balanced in torch.sagemaker.moe.moe_config.MoEConfig zur Expertenparallelität auftrat.

Es wurde ein Problem bei der Optimierung behoben, bei dem beim Aufruf von torch.sagemaker.transform ein KeyError ausgelöst wurde, wenn load_state_dict_from_rank0 aktiviert war.

Es wurde ein OOM-Fehler (Out-of-Memory) behoben, der beim Laden großer MoE-Modelle (Mixture of Experts) wie Mixtral 8x22B zur Optimierung auftrat.

SMP-Docker-Container für PyTorch v2.2.0 mit CUDA v12.1

658645717510.dkr.ecr.us-west-2.amazonaws.com/smdistributed-modelparallel:2.2.0-gpu-py310-cu121

Zur Unterstützung von MoE-Transformer-Modellen (Mixture of Experts) wurde die Expertenparallelität als neue Kernfunktion hinzugefügt. Weitere Informationen hierzu finden Sie unter Expertenparallelität.

SMP-Docker-Container für PyTorch v2.2.0 mit CUDA v12.1

658645717510.dkr.ecr.us-west-2.amazonaws.com/smdistributed-modelparallel:2.2.0-gpu-py310-cu121

Das FP8-Training der folgenden Transformer-Modelle von Hugging Face auf P5-Instances mit Transformer-Engine-Integration wird nun unterstützt:

Es wurde ein Fehler behoben, bei dem vor dem kollektiven AllGather-Aufruf während des Tensorparallelitätstrainings nicht garantiert wurde, dass die Tensoren zusammenhängend waren.

Unterstützung für PyTorch v2.2.0 hinzugefügt

Die SMDDP-Bibliothek wurde auf v2.2.0 aktualisiert.

Die FlashAttention-Bibliothek wurde auf v2.3.3 aktualisiert.

Die NCCL-Bibliothek wurde auf v2.19.4 aktualisiert.

Die Unterstützung für die Transformer-Engine-Versionen vor v1.2.0 wurde eingestellt.

Das SMP-Feature Aktivierung, Entladung funktioniert derzeit nicht. Verwenden Sie stattdessen die native PyTorch-Aktivierungsauslagerung.

Es wurde ein Patch zur Behebung des im Problem-Thread unter https://github.com/pytorch/pytorch/issues/117748 besprochenen Leistungsrückgangs in das PyTorch-GitHub-Repository aufgenommen.

SMP-Docker-Container für PyTorch v2.2.0 mit CUDA v12.1

658645717510.dkr.ecr.us-west-2.amazonaws.com/smdistributed-modelparallel:2.2.0-gpu-py310-cu121

Unterstützung für PyTorch v2.1.2 hinzugefügt

Die Unterstützung für Hugging Face Transformers v4.31.0 wurde eingestellt.

Es wurde festgestellt, dass die Optimierung des Llama-2-Modells von Hugging Face mit attn_implementation=flash_attention_2 und FSDP zu Modellabweichungen führt. Weitere Informationen finden Sie im Problem-Ticket im GitHub-Repository von Hugging Face Transformers. Um das Divergenzproblem zu vermeiden, verwenden Sie attn_implementation=sdpa. Verwenden Sie alternativ die Implementierung des SMP-Transformer-Modells, indem Sie use_smp_implementation=True einrichten.

SMP-Docker-Container für PyTorch v2.1.2 mit CUDA v12.1

658645717510.dkr.ecr.us-west-2.amazonaws.com/smdistributed-modelparallel:2.1.2-gpu-py310-cu121

https://sagemaker-distributed-model-parallel.s3.us-west-2.amazonaws.com/smp-v2/

Ein neues torch.sagemaker-Paket wurde gegenüber dem vorherigen smdistributed.modelparallel.torch-Paket in SMP v1.x vollständig überarbeitet.

Unterstützung für PyTorch 2.0.1

Unterstützung für PyTorch FSDP

Implementierung der Tensorparallelität durch Integration in die Transformer-Engine-Bibliothek

Unterstützung für SageMaker Training und SageMaker HyperPod

SMP v2 bietet eine vollständige Überarbeitung der APIs und stellt das torch.sagemaker-Paket bereit. In den meisten Fällen sind nur die Initialisierung mit dem torch.sagemaker.init()-Modul und die Übergabe der Konfigurationsparameter zur Modellparallelität erforderlich. Mit diesem neuen Paket können Sie Codeänderungen in Ihrem Trainingsskript erheblich vereinfachen. Weitere Informationen zur Anpassung Ihres Trainingsskripts an SMP v2 finden Sie unter Verwendung der SageMaker-Modellparallelitätsbibliothek v2.

Wenn Sie SMP v1 für das Training von Transformer-Modellen von Hugging Face verwendet haben und die Modelle in SMP v2 wiederverwenden möchten, finden Sie weitere Informationen unter Upgrade von SMP v1 auf SMP v2.

Für das PyTorch-FSDP-Training sollten Sie SMP v2 verwenden.

Aktivierungs-Checkpointing funktioniert derzeit nur mit den folgenden Wrapping-Richtlinien mit FSDP.

Für die Verwendung von Aktivierung, Entladung muss der Typ des FSDP-Aktivierungs-Checkpoints REENTRANT sein.

Bei der Ausführung mit aktivierter Tensorparallelität und dem Parallelitätsgrad 1 der fragmentierten Daten müssen Sie backend = nccl verwenden. Die smddp-Backend-Option wird in diesem Szenario nicht unterstützt.

Transformer Engine ist erforderlich, um PyTorch mit der SMP-Bibliothek zu verwenden, auch wenn keine Tensorparallelität verwendet wird.

Ab dieser Version ist die vollständige Dokumentation für die SageMaker-Modellparallelitätsbibliothek in diesem Entwicklerhandbuch für Amazon SageMaker AI verfügbar. Zu Gunsten des vollständigen Entwicklerhandbuchs für SMP v2, das im Entwicklerhandbuch für Amazon SageMaker AI enthalten ist, wird die Dokumentation für die zusätzliche Referenz für SMP v1.x in der Dokumentation zum SageMaker Python SDK nicht mehr unterstützt. Wenn Sie die Dokumentation für SMP v1.x weiterhin benötigen, finden Sie das Entwicklerhandbuch für SMP v1.x unter (Archiviert) SageMaker-Modellparallelitätsbibliothek v1.x und die Referenz zur SMP-Python-Bibliothek v1.x finden Sie in der Dokumentation zum SageMaker Python SDK v2.199.0.

Die Unterstützung für TensorFlow wurde eingestellt.

Die Pipeline-Parallelität wird in SMP v2 nicht unterstützt.

Die DeepSpeed-Bibliothek wird zugunsten des nativen PyTorch FSDP nicht unterstützt.

SMP-Docker-Container für PyTorch v2.0.1 mit CUDA v12.1

658645717510.dkr.ecr.us-west-2.amazonaws.com/smdistributed-modelparallel:2.0.1-gpu-py310-cu121