Argumentation, Modell, Bewertung - Amazon SageMaker KI
-ÜbersichtKonfiguration des RezeptsVerwenden Sie den Parameter reasoning_effort

Die vorliegende Übersetzung wurde maschinell erstellt. Im Falle eines Konflikts oder eines Widerspruchs zwischen dieser übersetzten Fassung und der englischen Fassung (einschließlich infolge von Verzögerungen bei der Übersetzung) ist die englische Fassung maßgeblich.

Argumentation, Modell, Bewertung

-Übersicht

Die Unterstützung von Argumentationsmodellen ermöglicht die Evaluierung mit Hilfe von Nova-Modellen, die eine explizite interne Argumentation durchführen, bevor endgültige Antworten generiert werden. Diese Funktion nutzt die Steuerung auf API-Ebene über den reasoning_effort Parameter, um die Argumentationsfunktion dynamisch zu aktivieren oder zu deaktivieren, wodurch möglicherweise die Antwortqualität bei komplexen Analyseaufgaben verbessert wird.

Unterstützte Modelle

  • amazon.nova-2-lite-v 1:0:256 k

Konfiguration des Rezepts

Ermöglichen Sie die Argumentation, indem Sie den reasoning_effort Parameter zum inference Abschnitt Ihres Rezepts hinzufügen:

run:  
  name: reasoning-eval-job-name                          # [MODIFIABLE] Unique identifier for your evaluation job  
  model_type: amazon.nova-2-lite-v1:0:256k               # [FIXED] Must be a reasoning-supported model  
  model_name_or_path: nova-lite-2/prod                   # [FIXED] Path to model checkpoint or identifier  
  replicas: 1                                            # [MODIFIABLE] Number of replicas for SageMaker Training job  
  data_s3_path: ""                                       # [MODIFIABLE] Leave empty for SageMaker Training job; optional for SageMaker HyperPod job  
  output_s3_path: ""                                     # [MODIFIABLE] Output path for SageMaker HyperPod job (not compatible with SageMaker Training jobs)  
  
evaluation:  
  task: mmlu                                             # [MODIFIABLE] Evaluation task  
  strategy: zs_cot                                       # [MODIFIABLE] Evaluation strategy  
  metric: accuracy                                       # [MODIFIABLE] Metric calculation method  
  
inference:  
  reasoning_effort: high                                 # [MODIFIABLE] Enables reasoning mode; options: low/high or null to disable  
  max_new_tokens: 32768                                  # [MODIFIABLE] Maximum tokens to generate, recommended value when reasoning_effort set to high  
  top_k: -1                                              # [MODIFIABLE] Top-k sampling parameter  
  top_p: 1.0                                             # [MODIFIABLE] Nucleus sampling parameter  
  temperature: 0                                         # [MODIFIABLE] Sampling temperature (0 = deterministic)

Verwenden Sie den Parameter reasoning_effort

Der reasoning_effort Parameter steuert das Argumentationsverhalten für Modelle, die zur Argumentation fähig sind.

Voraussetzungen

  • Modellkompatibilität — reasoning_effort Nur festgelegt, wenn (derzeit) ein Modell model_type angegeben wird, das zu Argumenten fähig ist amazon.nova-2-lite-v1:0:256k

  • Fehlerbehandlung — Die Verwendung reasoning_effort mit nicht unterstützten Modellen schlägt fehl mit ConfigValidationError: "Reasoning mode is enabled but model '{model_type}' does not support reasoning. Please use a reasoning-capable model or disable reasoning mode."

Verfügbare Optionen

Option Behavior Token-Limit Anwendungsfall
null (Standard) Deaktiviert den Argumentationsmodus – Standardauswertung ohne Mehraufwand beim Argumentieren
low Ermöglicht Argumentation mit Einschränkungen 4.000 Tokens für internes Denken Szenarien, die eine präzise Argumentation erfordern; optimiert im Hinblick auf Geschwindigkeit und Kosten
high Ermöglicht Argumentation ohne Einschränkungen Keine Tokenbegrenzung für internes Denken Komplexe Probleme, die umfangreiche Analysen und step-by-step Überlegungen erfordern
Trainingsmethode Verfügbare Optionen Wie konfiguriert man
SFT (überwachte Feinabstimmung) Nur hoch oder Aus Verwenden Sie reasoning_enabled: true (hoch) oder reasoning_enabled: false (off)
RFT (Feinabstimmung von Verstärkungen) Niedrig, Hoch oder Aus Verwenden Sie reasoning_effort: low oder reasoning_effort: high. Lassen Sie das zu deaktivierende Feld weg.
Bewertung Niedrig, Hoch oder Aus Verwenden Sie reasoning_effort: low oder reasoning_effort: high. Verwenden Sie null, um zu deaktivieren.

Wann sollte das Argumentieren aktiviert werden

Verwenden Sie den Argumentationsmodus (lowoderhigh) für

  • Komplexe Problemlösungsaufgaben (Mathematik, Logikrätsel, Programmieren)

  • Mehrstufige analytische Fragen, die eine gründliche Argumentation erfordern

  • Aufgaben, bei denen detaillierte Erklärungen oder step-by-step Überlegungen die Genauigkeit verbessern

  • Szenarien, in denen die Qualität der Antworten Vorrang vor der Geschwindigkeit hat

Verwenden Sie den Modus ohne Argumentation (nulloder lassen Sie den Parameter weg) für

  • Einfache Fragen und Antworten oder sachliche Fragen

  • Kreative Schreibaufgaben

  • Wenn schnellere Reaktionszeiten entscheidend sind

  • Leistungsbenchmarking, bei dem der Argumentationsaufwand ausgeschlossen werden sollte

  • Kostenoptimierung, wenn Argumentation die Aufgabenleistung nicht verbessert

Fehlerbehebung

Fehler: „Der Argumentationsmodus ist aktiviert, aber das Modell unterstützt kein Argumentieren“

Ursache: Der reasoning_effort Parameter ist auf einen Wert ungleich Null gesetzt, aber der angegebene Wert unterstützt model_type keine Argumentation.

Auflösung

  • Stellen Sie sicher, dass Ihr Modelltyp amazon.nova-2-lite-v1:0:256k

  • Wenn Sie ein anderes Modell verwenden, wechseln Sie entweder zu einem Modell, das vernünftiges Denken ermöglicht, oder entfernen Sie den reasoning_effort Parameter aus Ihrem Rezept