OpenX JSON SerDe

Come Hive JSON SerDe, per elaborare i dati JSON puoi usare OpenX JSON. Questi dati sono rappresentati come stringhe su una sola riga di testo con codifica JSON separati da una nuova riga. Come il SerDE JSON Hive, il SerDe JSON OpenX non consente chiavi duplicate nei nomi delle chiavi in map o struct.

Considerazioni e limitazioni

Proprietà facoltative

A differenza del SerDe JSON Hive, il SerDe JSON OpenX dispone anche delle seguenti proprietà SerDe opzionali che possono essere utili per risolvere le incongruenze nei dati.

Esempio: dati pubblicitari

L'istruzione DDL di esempio seguente utilizza il SerDe JSON OpenX per creare una tabella basata sugli stessi dati pubblicitari online di esempio utilizzati nell'esempio per SerDe JSON Hive. Nella clausola LOCATION sostituire myregion con l'identificatore Regione in cui si esegue Athena.

CREATE EXTERNAL TABLE impressions (
    requestbegintime string,
    adid string,
    impressionId string,
    referrer string,
    useragent string,
    usercookie string,
    ip string,
    number string,
    processid string,
    browsercokie string,
    requestendtime string,
    timers struct<
       modellookup:string, 
       requesttime:string>,
    threadid string, 
    hostname string,
    sessionid string
)   PARTITIONED BY (dt string)
ROW FORMAT SERDE 'org.openx.data.jsonserde.JsonSerDe'
LOCATION 's3://amzn-s3-demo-bucket.elasticmapreduce/samples/hive-ads/tables/impressions';

Esempio di deserializzazione di un JSON nidificato

È possibile utilizzare i SerDe JSON per analizzare dati codificati JSON più complessi. Ciò richiede l'utilizzo di istruzioni CREATE TABLE che utilizzino elementi struct e array per rappresentare strutture nidificate.

Nell'esempio seguente viene creata una tabella Athena dai dati JSON con strutture nidificate. Il file ha la struttura seguente:

{
"DocId": "AWS",
"User": {
        "Id": 1234,
        "Username": "carlos_salazar", 
        "Name": "Carlos",
"ShippingAddress": {
"Address1": "123 Main St.",
"Address2": null,
"City": "Anytown",
"State": "CA"
   },
"Orders": [
   {
     "ItemId": 6789,
     "OrderDate": "11/11/2022" 
   },
   {
     "ItemId": 4352,
     "OrderDate": "12/12/2022"
   }
  ]
 }
}

Ricorda che OpenX SerDe prevede che ogni record JSON sia su una singola riga di testo. Se archiviati in Amazon S3, tutti i dati dell'esempio precedente devono trovarsi su un'unica riga, in questo modo:

{"DocId":"AWS","User":{"Id":1234,"Username":"carlos_salazar","Name":"Carlos","ShippingAddress" ...

L'istruzione CREATE TABLE seguente utilizza OpenX-JsonSerDe con i tipi di dati di raccolta struct e array per stabilire gruppi di oggetti.

CREATE external TABLE complex_json (
   docid string,
   `user` struct<
               id:INT,
               username:string,
               name:string,
               shippingaddress:struct<
                                      address1:string,
                                      address2:string,
                                      city:string,
                                      state:string
                                      >,
               orders:array<
                            struct<
                                 itemid:INT,
                                  orderdate:string
                                  >
                              >
               >
   )
ROW FORMAT SERDE 'org.openx.data.jsonserde.JsonSerDe'
LOCATION 's3://amzn-s3-demo-bucket/myjsondata/';

Per eseguire query sulla tabella, utilizzare una SELECT istruzione come la seguente.

SELECT 
 user.name as Name, 
 user.shippingaddress.address1 as Address, 
 user.shippingaddress.city as City, 
 o.itemid as Item_ID, o.orderdate as Order_date
FROM complex_json, UNNEST(user.orders) as temp_table (o)

Per accedere ai campi di dati all'interno delle strutture, la query di esempio utilizza la notazione a punti (ad esempio,user.name). Per accedere ai dati all'interno di una matrice di strutture (come nel orders campo), puoi usare la funzione. UNNEST La UNNEST funzione appiattisce l'array in una tabella temporanea (in questo caso chiamata). o Ciò consente di utilizzare la notazione a punti come si fa con le strutture per accedere agli elementi dell'array non annidati (ad esempio,). o.itemid Il nome temp_table, usato nell'esempio a scopo illustrativo, è spesso abbreviato in. t

Nella tabella seguente sono riportati i risultati di esempio.