Die vorliegende Übersetzung wurde maschinell erstellt. Im Falle eines Konflikts oder eines Widerspruchs zwischen dieser übersetzten Fassung und der englischen Fassung (einschließlich infolge von Verzögerungen bei der Übersetzung) ist die englische Fassung maßgeblich.
Feature-Attributions-Drift für Modelle in der Produktion
Anmerkung
Amazon SageMaker Model Monitor steht neuen Kunden nicht mehr zur Verfügung. Bestehende Kunden können den Service weiterhin wie gewohnt nutzen. AWS investiert weiterhin in Sicherheits- und Verfügbarkeitsverbesserungen für Model Monitor, wir planen jedoch nicht, neue Funktionen einzuführen. Weitere Informationen finden Sie unter Änderung der Verfügbarkeit von Amazon SageMaker Model Monitor.
Eine Abweichung bei der Verteilung von Live-Daten für Modelle, die sich in der Produktion befinden, kann zu einer entsprechenden Abweichung bei den Werten für die Feature-Zuordnung führen, genauso wie sie bei der Überwachung von Messwerten zu Verzerrungen führen kann. Amazon SageMaker Clarify hilft Datenwissenschaftlern und ML-Ingenieuren dabei, Prognosen zur Merkmalsattribution regelmäßig zu überwachen. Während das Modell überwacht wird, können Kunden exportierbare Berichte und Grafiken mit detaillierten Funktionszuweisungen in SageMaker Studio einsehen und Warnmeldungen in Amazon CloudWatch so konfigurieren, dass sie Benachrichtigungen erhalten, wenn festgestellt wird, dass die Attributionswerte einen bestimmten Schwellenwert überschreiten.
Um dies anhand einer bestimmten Situation zu veranschaulichen, stellen Sie sich ein hypothetisches Szenario für Hochschulzulassungen vor. Gehen Sie davon aus, dass wir die folgenden (aggregierten) Featureszuordnungswerte in den Trainingsdaten und in den Live-Daten beobachten:
Hypothetisches Szenario für die Zulassung zum College
| Feature | Zuordnung in Trainingsdaten | Zuordnung in Live-Daten |
|---|---|---|
| SAT-Score | 0,70 | 0.10 |
| LÜCKE | 0.50 | 0.20 |
| Klassenrang | 0,05 | 0,70 |
Der Wechsel von Trainingsdaten zu Live-Daten scheint signifikant zu sein. Das Feature-Ranking hat sich komplett umgekehrt. Ähnlich wie bei der Verzerrungsdrift können die Abweichungen bei der Feature-Attribution durch eine Änderung der Live-Datenverteilung verursacht werden und eine genauere Untersuchung des Modellverhaltens in den Live-Daten rechtfertigen. Auch hier besteht der erste Schritt in diesen Szenarien darin, einen Alarm auszulösen, dass eine Abweichung aufgetreten ist.
Wir können die Abweichung erkennen, indem wir vergleichen, wie sich die Rangfolge der einzelnen Merkmale von Trainingsdaten zu Live-Daten verändert hat. Wir wollen nicht nur sensibel auf Änderungen in der Rangfolge reagieren, sondern auch auf den reinen Attributionswert der Features achten. Bei zwei Features, die in der Rangliste um die gleiche Anzahl von Positionen fallen, wenn es um die gleiche Anzahl von Positionen geht, die von den Trainingsdaten zu den Live-Daten gehen, wollen wir beispielsweise sensibler auf das Feature reagieren, das in den Trainingsdaten einen höheren Attributionswert hatte. Unter Berücksichtigung dieser Eigenschaften verwenden wir den NDCG-Wert (Normalized Discounted Cumulative Gain), um die Rangfolge der Featureszuordnungen von Trainings- und Live-Daten zu vergleichen.
Gehen Sie insbesondere davon aus, dass wir Folgendes haben:
-
F= [f1,..., fm] ist die Liste der Features, sortiert nach ihren Attributionswerten in den Trainingsdaten, wobei m die Gesamtzahl der Features ist. In unserem Fall ist zum Beispiel F = [SAT-Score, GPA, Klassenrang].
-
a(f) ist eine Funktion, die den Wert der Merkmalszuweisung für das Trainingsdaten bei einem bestimmten Feature f zurückgibt. Zum Beispiel: a (SAT-Score) = 0,70.
-
F′= [f′1,..., f′m] ist die Liste der Features, sortiert nach ihren Attributionswerten in den Live-Daten. Zum Beispiel F ′= [Klassenrang, Notendurchschnitt, SAT-Score].
Dann können wir den NDCG wie folgt berechnen:
NDCG= DCG/iDCG
mit
-
DCG = ∑1ma(f'i)/log2(i+1)
-
iDCG = ∑1ma(fi)/log2(i+1)
Die Menge DCG misst, ob Features mit hoher Zuordnung in den Trainingsdaten auch in der anhand der Live-Daten berechneten Featureszuweisung höher eingestuft werden. Die Größe iDCG misst den idealen Wert und ist lediglich ein Normalisierungsfaktor, um sicherzustellen, dass die endgültige Menge im Bereich [0, 1] liegt, wobei 1 der bestmögliche Wert ist. Ein NDCG-Wert von 1 bedeutet, dass die Rangfolge der Feature-Zuordnung in den Live-Daten mit der Rangfolge in den Trainingsdaten übereinstimmt. In diesem speziellen Beispiel beträgt der NDCG-Wert 0,69, da sich die Rangfolge erheblich geändert hat.
Wenn der NDCG-Wert in SageMaker Clarify unter 0,90 liegt, lösen wir automatisch eine Warnung aus.
Model Monitor Beispiel-Notebooks
SageMaker Clarify stellt das folgende Beispiel-Notizbuch zur Verfügung, das zeigt, wie Inferenzdaten für einen Echtzeit-Endpunkt erfasst, eine Basislinie zur Überwachung der sich entwickelnden Verzerrung erstellt und die Ergebnisse überprüft werden:
-
Überwachung der Abweichungen von Verzerrungen und Merkmalsattributionen Amazon SageMaker Clarify
— Verwenden Sie Amazon SageMaker Model Monitor, um Verzerrungen und Abweichungen bei der Merkmalsattribution im Zeitverlauf zu überwachen.
Es wurde bestätigt, dass dieses Notebook nur in SageMaker Studio ausgeführt werden kann. Anweisungen zum Öffnen eines Notizbuchs in SageMaker Studio finden Sie unterErstellen oder öffnen Sie ein Amazon Studio Classic-Notizbuch SageMaker. Wenn Sie aufgefordert werden, einen Kernel auszuwählen, wählen Sie Python 3 (Data Science). Die folgenden Themen enthalten die Highlights der letzten beiden Schritte sowie Codebeispiele aus dem Beispiel-Notebook.
Themen
