Die vorliegende Übersetzung wurde maschinell erstellt. Im Falle eines Konflikts oder eines Widerspruchs zwischen dieser übersetzten Fassung und der englischen Fassung (einschließlich infolge von Verzögerungen bei der Übersetzung) ist die englische Fassung maßgeblich.

Reinforcement Fine-Tuning (RFT) mit Amazon Nova-Modellen

-Übersicht

Was ist RFT?

Reinforcement Fine-Tuning (RFT) verbessert die Modellleistung, indem das Training anhand von Feedbacksignalen — messbaren Ergebnissen oder Belohnungen, die anzeigen, wie gut das Modell abgeschnitten hat — und nicht anhand exakter richtiger Antworten trainiert wird. Im Gegensatz zur überwachten Feinabstimmung, die aus Input-Output-Paaren lernt, verwendet RFT Belohnungsfunktionen, um die Modellantworten zu bewerten, und optimiert das Modell iterativ, um diese Belohnungen zu maximieren. Dieser Ansatz zeichnet sich besonders dann aus, wenn es schwierig ist, den exakt richtigen Output zu definieren, aber Sie können die Antwortqualität zuverlässig messen.

Wann sollte RFT verwendet werden

Verwenden Sie RFT, wenn Sie klare, messbare Erfolgskriterien definieren können, aber Schwierigkeiten haben, exakt korrekte Ergebnisse für das Training zu liefern. Es ist ideal für:

Beste Anwendungsfälle

RFT zeichnet sich besonders in Bereichen aus, in denen die Ausgabequalität objektiv gemessen werden kann, es jedoch schwierig ist, optimale Antworten im Voraus zu definieren:

Unterstützte Modelle

Nova Lite 2.0

Überblick über das Datenformat

RFT-Trainingsdaten müssen dem OpenAI Reinforcement Fine-Tuning-Format entsprechen. Jedes Trainingsbeispiel ist ein JSON-Objekt, das Folgendes enthält:

Derzeitige Einschränkungen

Beispiele für Datenformate

Jedes Beispiel sollte sich in einer einzigen Zeile in Ihrer JSONL-Datei befinden, mit einem JSON-Objekt pro Zeile.

Chemistry problem

{  
  "id": "chem-01",  
  "messages": [  
    {  
      "role": "system",  
      "content": "You are a helpful chemistry assistant"  
    },  
    {  
      "role": "user",  
      "content": "Calculate the molecular weight of caffeine (C8H10N4O2)"  
    }  
  ],  
  "reference_answer": {  
    "molecular_weight": 194.19,  
    "unit": "g/mol",  
    "calculation": "8(12.01) + 10(1.008) + 4(14.01) + 2(16.00) = 194.19"  
  }  
}

Math problem

{  
  "id": "sample-001",  // Optional   
  "messages": [  
    {  
      "role": "system",  
      "content": "You are a math tutor"  
    },  
    {  
      "role": "user",  
      "content": "Solve: 2x + 5 = 13"  
    }  
  ],  
  "reference_answer": {  
    "solution": "x = 4",  
    "steps": ["2x = 13 - 5", "2x = 8", "x = 4"]  
  }  
}

Code problem

{  
  "id": "code-002",  
  "messages": [  
    {  
      "role": "system",  
      "content": "You are a helpful programming assistant"  
    },  
    {  
      "role": "user",  
      "content": "Write a Python function that reverses a string without using built-in reverse methods"  
    }  
  ],  
  "reference_answer": {  
    "code": "def reverse_string(s):  \n    result = ''  \n    for i in range(len(s) - 1, -1, -1):  \n        result += s[i]  \n    return result",  
    "test_cases": [  
      {  
        "input": "hello",  
        "expected_output": "olleh"  
      },  
      {  
        "input": "",  
        "expected_output": ""  
      },  
      {  
        "input": "a",  
        "expected_output": "a"  
      },  
      {  
        "input": "Python123",  
        "expected_output": "321nohtyP"  
      }  
    ],  
    "all_tests_pass": true  
  }  
}

Das reference_answer Feld enthält die erwarteten Ausgabe- oder Bewertungskriterien, anhand derer Ihre Belohnungsfunktion die Antwort des Modells bewertet. Es ist nicht auf strukturierte Ausgaben beschränkt — es kann jedes Format enthalten, das Ihrer Belohnungsfunktion bei der Bewertung der Qualität hilft.

Empfehlungen zur Größe von Datensätzen

Ausgangspunkt

Der Ansatz steht bei der Bewertung an erster Stelle

Bevor Sie in groß angelegte RFT-Schulungen investieren, sollten Sie die Ausgangsleistung Ihres Modells bewerten:

Wenn Sie mit einem kleinen Datensatz beginnen, können Sie:

Nach der Validierung können Sie auf größere Datensätze expandieren, um die Leistung weiter zu verbessern.

Merkmale effektiver Trainingsdaten

Klarheit und Kohärenz

Gute RFT-Beispiele erfordern klare, eindeutige Eingabedaten, die eine genaue Berechnung der Belohnung für verschiedene Modellergebnisse ermöglichen. Vermeiden Sie Rauschen in Ihren Daten, einschließlich:

Jede Unklarheit führt den Trainingsprozess in die Irre und führt dazu, dass das Modell unbeabsichtigte Verhaltensweisen erlernt.

Diversität

Ihr Datensatz sollte die gesamte Vielfalt der Anwendungsfälle in der Produktion erfassen, um eine robuste Leistung unter realen Bedingungen zu gewährleisten. Enthalten sind:

Überlegungen zur Belohnungsfunktion

Gestalten Sie Ihre Belohnungsfunktion für effizientes Training:

Schnelle, skalierbare Belohnungsfunktionen ermöglichen schnelle Iterationen und kostengünstiges Experimentieren.

Zusätzliche Eigenschaften

Das RFT-Datenformat unterstützt benutzerdefinierte Felder, die über die grundlegenden Schemaanforderungen (messagesund) hinausgehen. reference_answer Dank dieser Flexibilität können Sie alle zusätzlichen Daten hinzufügen, die Ihre Prämienfunktion für eine korrekte Auswertung benötigt.

Allgemeine zusätzliche Eigenschaften

Beispiele für Metadatenfelder:

Beispiel mit zusätzlichen Eigenschaften

{  
  "messages": [  
    {  
      "role": "system",  
      "content": "You are a math tutor"  
    },  
    {  
      "role": "user",  
      "content": "Solve: 2x + 5 = 13"  
    }  
  ],  
  "reference_answer": {  
    "solution": "x = 4",  
    "steps": ["2x = 13 - 5", "2x = 8", "x = 4"]  
  },  
  "task_id": "algebra_001",  
  "difficulty_level": "easy",  
  "domain": "algebra",  
  "expected_reasoning_steps": 3  
}

Diese zusätzlichen Felder werden während der Auswertung an Ihre Belohnungsfunktion übergeben und ermöglichen so eine ausgeklügelte Bewertungslogik, die auf Ihren speziellen Anwendungsfall zugeschnitten ist.

Konfiguration des Trainings

Beispielrezept

# Note:  
# This recipe can run on p5.48xlarge and p5en.48xlarge instance types.  
run:  
  name: "my-rft-run"                           # Unique run name (appears in logs/artifacts).  
  model_type: amazon.nova-2-lite-v1:0:256k  
  model_name_or_path: nova-lite-2/prod  
  data_s3_path: s3://<bucket>/<data file>      # Training dataset in JSONL;  
  replicas: 4  
  reward_lambda_arn: ""  
  
## SMTJ GRPO Training specific configs  
training_config:  
  max_length: 8192                              # Context window (tokens) for inputs+prompt;  
  global_batch_size: 16                         # Total samples per optimizer step across all replicas (16/32/64/128/256).  
  reasoning_effort: high                        # Enables reasoning mode high / low / or null for non-reasoning  
  
  rollout:                                      # How responses are generated for GRPO/advantage calc.  
    advantage_strategy:  
      number_generation: 2                      # N samples per prompt to estimate advantages (variance vs cost).  
    generator:  
      max_new_tokens: 6000                      # Cap on tokens generated per sample  
      set_random_seed: true                     # Seed generation for reproducibility across runs.  
      temperature: 1                            # Softmax temperature;  
      top_k: 1                                  # Sample only from top-K logits  
    rewards:  
      preset_reward_function: null              # Usage of reward functions built into Verl [exact_match, code_executions, math_answers]  
      api_endpoint:  
        lambda_arn: ""  
        lambda_concurrency_limit: 12             # Max concurrent Lambda invocations (throughput vs. throttling).  
  
  trainer:  
    max_steps: 2                                 # Steps to train for. One Step = global_batch_size  
    save_steps: 5
    test_steps: 1  
    save_top_k: 5  
      
    # RL parameters  
    ent_coeff: 0.0                              # A bonus added to the policy loss that rewards higher-output entropy.  
    kl_loss_coef: 0.001                         # Weight on the KL penalty between the actor (trainable policy) and a frozen reference model  
  
    optim_config:                    # Optimizer settings  
        lr: 7e-7                       # Learning rate  
        weight_decay: 0.0              # L2 regularization strength (0.0–1.0)  
        adam_beta1: 0.9  
        adam_beta2: 0.95  
  
    peft:                            # Parameter-efficient fine-tuning (LoRA)  
        peft_scheme: "lora"            # Enable LoRA for PEFT  
        lora_tuning:  
            alpha: 32   
            lora_plus_lr_ratio: 64.0     # LoRA+ learning rate scaling factor (0.0–100.0)

RFT-Training mit LLM als Richter

-Übersicht

Große Sprachmodelle (LLMs) werden zunehmend als Richter in Workflows zur Reinforcement-Feinabstimmung (RFT) eingesetzt, da sie automatisierte Belohnungssignale liefern, die als Richtschnur für die Modelloptimierung dienen. Bei diesem Ansatz bewertet ein LLM die Modellergebnisse anhand festgelegter Kriterien — sei es bei der Bewertung von Korrektheit, Qualität, Stiltreue oder semantischer Gleichwertigkeit — und vergibt Belohnungen, die den Reinforcement-Learning-Prozess vorantreiben.

Dies ist besonders nützlich für Aufgaben, bei denen traditionelle Belohnungsfunktionen programmatisch schwer zu definieren sind, z. B. um festzustellen, ob verschiedene Repräsentationen (wie „1/3“, „0,333“ und „ein Drittel“) semantisch gleichwertig sind, oder um nuancierte Eigenschaften wie Kohärenz und Relevanz zu bewerten. Durch die Verwendung von LLM-basierten Juroren als Belohnungsfunktionen können Sie RFT auf komplexe Bereiche skalieren, ohne dass umfangreiche menschliche Anmerkungen erforderlich sind. Dies ermöglicht eine schnelle Iteration und kontinuierliche Verbesserung Ihrer Modelle für verschiedene Anwendungsfälle, die über herkömmliche Ausrichtungsprobleme hinausgehen.

Auswahl des Argumentationsmodus

Verfügbare Modi

Wann sollten die einzelnen Modi verwendet werden

Verwenden Sie gute Argumentation für:

Verwende keine Argumentation (weglasse reasoning_effort) oder niedrige Argumentation für:

Kompromisse bei Kosten und Leistung

Höhere Denkweisen nehmen zu:

Validierung Ihres LLM-Richters

Bevor Sie einen LLM-as-a-judge in der Produktion einsetzen, überprüfen Sie, ob die Bewertungen des Richtermodells dem menschlichen Urteilsvermögen entsprechen. Dies beinhaltet:

Dieser Validierungsschritt trägt dazu bei, dass im Rahmen des automatisierten Bewertungsprozesses Modelle erstellt werden, die Ihren Qualitätskriterien für die Produktion entsprechen.

Lambda-Konfiguration für LLM Judge

Die Verwendung eines LLM als Richter ist eine Erweiterung der Verwendung von Lambda-Funktionen für Reinforcement Learning with Verifiable Rewards (RLVR). In der Lambda-Funktion rufen Sie eines der in Amazon Bedrock gehosteten Modelle auf.

Wichtige Konfigurationsanforderungen:

Jobs erstellen und ausführen

Einen Ausbildungsjob beginnen

Verwenden Sie die Notizbuchvorlage SageMaker AI Training Job: https://docs.aws.amazon.com/sagemaker/latest/dg/nova-fine-tuning-training-job.html#nova-model-training-jobs-notebook

Anforderungen an die Instanz

Der Container unterstützt sowohl Full-Rank- als auch LoRa-Schulungen:

Überwachung der Schulung

Die Trainingsprotokolle enthalten bei jedem Schritt umfassende Kennzahlen. Kategorien der wichtigsten Kennzahlen:

Kennzahlen belohnen

Verhalten modellieren

Gesundheit trainieren

Eigenschaften der Reaktion

Leistung

Nutzung von Ressourcen

Verwendung fein abgestimmter Modelle

Nach Abschluss des Trainings wird der endgültige Modellprüfpunkt an Ihrem angegebenen Ausgabeort gespeichert. Der Checkpoint-Pfad ist verfügbar in:

Einschränkungen und bewährte Methoden

Einschränkungen

Best Practices

Fangen Sie klein an

Bewertung vor dem Training

Überwachen Sie das Training

Optimieren Sie die Belohnungsfunktionen

Iterationsstrategie

Wenn sich die Belohnungen nicht verbessern:

Erweiterte Funktionen: Nova Forge

Für Benutzer, die erweiterte Funktionen benötigen, die über die standardmäßigen RFT-Beschränkungen hinausgehen, ist Nova Forge als kostenpflichtiger Abonnementdienst erhältlich und bietet:

Nova Forge basiert auf SageMaker KI HyperPod und wurde entwickelt, um Unternehmenskunden dabei zu unterstützen, ihre eigenen Grenzmodelle zu entwickeln.

Nützliche Befehle und Tipps

Es steht eine Sammlung von Observability-Skripten zur Verfügung, mit deren Hilfe der Status und Fortschritt von Schulungsaufgaben überwacht werden kann.

Verfügbare Skripte sind:

Installation

pip install boto3  
git clone https://github.com/aws-samples/amazon-nova-samples.git  
cd amazon-nova-samples/customization/SageMakerUilts/SageMakerJobsMonitoring/

Grundlegende Verwendung

# Enabling email notifications for training job status updates  
python enable_sagemaker_job_notifs.py --email test@amazon.com test2@gmail.com --region us-east-1 --platform SMTJ  
  
Creating resources........  
Please check your email for a subscription confirmation email, and click 'Confirm subscription' to start receiving job status email notifications!  
You'll receive the confirmation email within a few minutes.

# Obtaining training time estimates based on job configurations  
python get_training_time_estimate.py

# Obtaining approximations for how long training is expected to take for in-progress jobs  
python get-training-job-progress.py --region us-east-1 --job-name my-training-job --num-dataset-samples 1000

Weitere Details und Beispiele finden Sie hier.