Aktualisieren Sie das Task-Governance-Add-on

Bestätigen Sie die aktuelle Add-on-Version und legen Sie ein Arbeitsverzeichnis fest.

aws eks describe-addon --region region --cluster-name cluster-name \
  --addon-name amazon-sagemaker-hyperpod-taskgovernance \
  --query 'addon.addonVersion' --output text

Bestätigen Sie, dass die Ausgabe mit beginntv1.3.. Stellen Sie dann BACKUP_DIR einen absoluten Pfad in einem beschreibbaren Verzeichnis ein und erstellen Sie ihn. Spätere Schritte lesen aus dieser Variablen und schreiben in sie. Führen Sie daher jeden Schritt in derselben Shell-Sitzung aus.

export BACKUP_DIR=/absolute/path/to/backup-dir
mkdir -p "$BACKUP_DIR"

Sichern Sie jede benutzerdefinierte Kueue-Ressource in lokalen Dateien.

for crd in admissionchecks clusterqueues cohorts localqueues multikueueclusters \
           multikueueconfigs provisioningrequestconfigs resourceflavors topologies \
           workloadpriorityclasses workloads; do
  kubectl get "${crd}.kueue.x-k8s.io" --all-namespaces -o json \
    > "$BACKUP_DIR/${crd}.json" 2>/dev/null
  echo "${crd}: $(jq '.items | length' "$BACKUP_DIR/${crd}.json" 2>/dev/null || echo 0)"
done

Löschen Sie die gesicherten Objekte und löschen Sie die alte gespeicherte Version von jeder CRD.

Dadurch wird der Eintrag v1alpha1 (oderv1beta1) entfernt, status.storedVersions sodass die CRDs der Version 1.5 oder höher installiert werden können. Die Objekte sind in Ihrem Backup sicher und werden in einem späteren Schritt wiederhergestellt.

for crd in admissionchecks clusterqueues cohorts localqueues multikueueclusters \
           multikueueconfigs provisioningrequestconfigs resourceflavors topologies \
           workloadpriorityclasses workloads; do
  kubectl get crd "${crd}.kueue.x-k8s.io" >/dev/null 2>&1 || continue
  kubectl delete "${crd}.kueue.x-k8s.io" --all --all-namespaces \
    --ignore-not-found=true --wait=false --request-timeout=30s
  kubectl patch crd "${crd}.kueue.x-k8s.io" --subresource=status --type=merge \
    --request-timeout=30s -p '{"status":{"storedVersions":["v1beta2"]}}'
done

Aktualisieren Sie das Add-on auf Ihre Zielversion (v1.5.0-eksbuild.1 oder höher).

target-versionErsetzen Sie durch die Ziel-Add-On-Version, zum Beispiel v1.5.0-eksbuild.1 oderv1.6.0-eksbuild.1.

aws eks update-addon --region region --cluster-name cluster-name \
  --addon-name amazon-sagemaker-hyperpod-taskgovernance \
  --addon-version target-version --resolve-conflicts OVERWRITE

Warten Sie, bis der Status lautetACTIVE:

aws eks describe-addon --region region --cluster-name cluster-name \
  --addon-name amazon-sagemaker-hyperpod-taskgovernance \
  --query 'addon.status' --output text

Warten Sie, bis die neue Installation abgeschlossen ist, bevor Sie sie wiederherstellen.

Stellen Sie das Gerät nicht sofort wieder her, nachdem das Add-on gemeldet wurdeACTIVE. Warten Sie, bis der Controller, sein Webhook und die Jobs nach der Installation fertig sind. Andernfalls kann die Wiederherstellung im nächsten Schritt hängen bleiben.

kubectl rollout status deploy/kueue-controller-manager -n kueue-system --timeout=300s

until [ -n "$(kubectl get endpoints -n kueue-system kueue-webhook-service \
              -o jsonpath='{.subsets[*].addresses[*].ip}' 2>/dev/null)" ]; do
  echo "waiting for kueue webhook endpoint..."; sleep 5
done

kubectl wait --for=condition=complete job -l app.kubernetes.io/name=kueue \
  -n kueue-system --timeout=180s || true

Stellen Sie Ihre Objekte unter dem neuen Schema wieder her.

Dadurch wird jedes gesicherte Objekt in das Schema v1.5 oder höher (v1beta2) umgewandelt und erneut angewendet.

transform() {
  jq '
    .apiVersion = "kueue.x-k8s.io/v1beta2"
    | del(.status)
    | del(.metadata.resourceVersion, .metadata.uid, .metadata.creationTimestamp,
          .metadata.generation, .metadata.managedFields, .metadata.selfLink)
    | del(.metadata.annotations."kubectl.kubernetes.io/last-applied-configuration")
    | if .kind == "Cohort" and (.spec.parent != null)
        then .spec.parentName = (.spec.parentName // .spec.parent) | del(.spec.parent) else . end
    | if .kind == "ClusterQueue" and (.spec.cohort != null)
        then .spec.cohortName = (.spec.cohortName // .spec.cohort) | del(.spec.cohort) else . end
    | if .kind == "ClusterQueue" then del(.spec.admissionChecks) else . end
    | if .kind == "AdmissionCheck" then del(.spec.retryDelayMinutes) else . end
  '
}

for crd in resourceflavors topologies workloadpriorityclasses admissionchecks cohorts \
           provisioningrequestconfigs multikueueclusters multikueueconfigs \
           clusterqueues localqueues workloads; do
  f="$BACKUP_DIR/${crd}.json"
  [ -s "$f" ] || continue
  count=$(jq '.items | length' "$f")
  for (( i=0; i<count; i++ )); do
    obj=$(jq -c ".items[$i]" "$f" | transform)
    name=$(printf '%s' "$obj" | jq -r '.kind + "/" + .metadata.name')
    if printf '%s' "$obj" | kubectl apply --request-timeout=30s -f - >/dev/null 2>&1; then
      echo "applied $name"
    else
      echo "check $name (may already be recreated by the add-on)"
    fi
  done
done

Überprüfen Sie das Ergebnis.

aws eks describe-addon --region region --cluster-name cluster-name \
  --addon-name amazon-sagemaker-hyperpod-taskgovernance \
  --query 'addon.{version:addonVersion,status:status}'

Eine Beispielausgabe sieht wie folgt aus (Ihre version entspricht den target-version in Schritt 4 eingestellten Werten).

{
    "version": "v1.5.0-eksbuild.1",
    "status": "ACTIVE"
}

Vergewissern Sie sich, dass Ihre Objekte vorhanden sind und keine CRD-Liste v1alpha1 immer noch vorhanden ist:

kubectl get clusterqueues
kubectl get localqueues --all-namespaces
kubectl get crd clusterqueues.kueue.x-k8s.io -o jsonpath='{.status.storedVersions}'

Die storedVersions Ausgabe darf nur v1beta2 (oder v1beta1 undv1beta2) enthalten, niemalsv1alpha1. Vergleichen Sie die wiederhergestellten Objekte mit den Dateien in, $BACKUP_DIR um sicherzustellen, dass Ihre Konfigurationswerte unverändert sind.