RFT su Nova 2.0

I dati di addestramento RFT seguono il formato conversazionale OpenAI. Ogni esempio di addestramento è un oggetto JSON contenente messaggi, risposte di riferimento e definizioni di strumenti opzionali. Questa sezione fornisce indicazioni sulla preparazione di dati di addestramento efficaci per RFT su Nova 2.0.

Formato e struttura dei dati

Ogni esempio di addestramento è un oggetto JSON contenente quanto segue:

Ogni esempio deve essere su una sola riga del file JSONL, con un oggetto JSON per riga.

{  
  "id": "chem-001",  
  "messages": [  
    {  
      "role": "system",  
      "content": "You are a helpful chemistry assistant"  
    },  
    {  
      "role": "user",  
      "content": "Predict hydrogen bond donors and acceptors for this SMILES: CCN(CC)CCC(=O)c1sc(N)nc1C"  
    }  
  ],  
  "reference_answer": {  
    "donor_bond_counts": 2,  
    "acceptor_bond_counts": 4,  
    "explanation": "Calculated using Lipinski's rule of five: N-H groups (2 donors), N and O atoms with lone pairs (4 acceptors)"  
  }  
}

{  
  "id": "math-001",  
  "messages": [  
    {  
      "role": "system",  
      "content": "You are a math tutor"  
    },  
    {  
      "role": "user",  
      "content": "Solve: 2x + 5 = 13"  
    }  
  ],  
  "reference_answer": {  
    "solution": "x = 4",  
    "steps": ["2x = 13 - 5", "2x = 8", "x = 4"]  
  }  
}

{  
  "id": "tool-001",  
  "messages": [  
    {  
      "role": "system",  
      "content": "You are a helpful game master assistant"  
    },  
    {  
      "role": "user",  
      "content": "Generate a strength stat for a warrior character. Apply a +2 racial bonus modifier."  
    }  
  ],  
  "tools": [  
    {  
      "type": "function",  
      "function": {  
        "name": "StatRollAPI",  
        "description": "Generates character stats by rolling 4d6, dropping the lowest die result, and applying a modifier.",  
        "parameters": {  
          "type": "object",  
          "properties": {  
            "modifier": {  
              "description": "An integer representing the modifier to apply to the total of the stat roll.",  
              "type": "integer"  
            }  
          },  
          "required": ["modifier"]  
        }  
      }  
    }  
  ],  
  "reference_answer": {  
    "tool_called": "StatRollAPI",  
    "tool_parameters": {  
      "modifier": 2  
    },  
    "expected_behavior": "Call StatRollAPI with modifier=2 and return the calculated stat value"  
  }  
}

Descrizioni dei campi

Proprietà aggiuntive

L'impostazione «AdditionalProperties»: true consente di includere campi personalizzati oltre ai requisiti di base dello schema, offrendo la flessibilità necessaria per aggiungere tutti i dati necessari alla funzione di ricompensa per una corretta valutazione.

Campi aggiuntivi comuni

È possibile includere i seguenti tipi di campi aggiuntivi:

Metadati:

Criteri di valutazione:

Esempio con proprietà aggiuntive

L'esempio seguente include campi di metadati personalizzati:

{  
  "id": "algebra_001",  
  "messages": [  
    {  
      "role": "system",  
      "content": "You are a math tutor"  
    },  
    {  
      "role": "user",  
      "content": "Solve: 2x + 5 = 13"  
    }  
  ],  
  "reference_answer": {  
    "solution": "x = 4",  
    "steps": ["2x = 13 - 5", "2x = 8", "x = 4"]  
  },  
  "task_id": "algebra_001",  
  "difficulty_level": "easy",  
  "domain": "algebra",  
  "expected_reasoning_steps": 3  
}

Suggerimenti sulle dimensioni dei set di dati

Punto di partenza

Inizia con le seguenti dimensioni minime dei set di dati:

Dai priorità ai dati di input di alta qualità e a una funzione di ricompensa affidabile che viene eseguita in modo coerente sulle risposte del modello.

Approccio incentrato sulla valutazione

Prima di investire nella formazione RFT su larga scala, valuta le prestazioni di base del tuo modello:

Questo approccio basato sulla valutazione assicura che la funzione di ricompensa sia priva di bug e determina se RFT è il metodo giusto per il tuo caso d'uso. Iniziare in piccolo consente di acquisire dimestichezza con il flusso di lavoro RFT, identificare e risolvere tempestivamente i problemi, convalidare l'approccio prima dell'ampliamento e testare l'affidabilità delle funzioni di ricompensa. Una volta convalidato, puoi espanderlo a set di dati più grandi per migliorare ulteriormente le prestazioni.

Caratteristiche dei dati di allenamento efficaci

Chiarezza e coerenza

I buoni esempi di RFT richiedono dati di input chiari e inequivocabili che consentano un calcolo accurato della ricompensa tra i diversi output del modello. Evita il rumore nei tuoi dati, tra cui:

Qualsiasi ambiguità indurrà in errore il processo di formazione e indurrà il modello ad apprendere comportamenti non intenzionali.

Diversità

Il tuo set di dati dovrebbe catturare l'intera diversità dei casi d'uso di produzione per garantire solide prestazioni nel mondo reale. Include:

Questa diversità aiuta a prevenire l'overfit e garantisce che il modello gestisca gli input non familiari con garbo.

Considerazioni sulla funzione di ricompensa

Progetta la tua funzione di ricompensa per un allenamento efficiente:

Le funzioni di ricompensa veloci e scalabili consentono un'iterazione rapida e una sperimentazione economica su larga scala.