SerDe JSON OpenX

Comme le SerDE JSON Hive, vous pouvez utiliser le JSON OpenX pour traiter les données JSON. Les données sont également représentées sous forme de chaînes sur une ligne de texte codées en JSON et séparées par une nouvelle ligne. Comme le SerDe JSON Hive, le SerDe JSON OpenX n'autorise -pas les clés en double dans les noms de clé map ou struct.

Considérations et restrictions

Propriétés facultatives

Contrairement au SerDe JSON Hive, le SerDe JSON OpenX possède également les propriétés SerDe facultatives suivantes qui peuvent être utiles pour résoudre les incohérences au niveau des données.

Exemple : données publicitaires

L'exemple d'instruction DDL suivant utilise le SerDe JSON OpenX pour créer une table basée sur le même exemple de données publicitaires en ligne utilisé dans l'exemple du SerDe JSON Hive. Dans la clause LOCATION, remplacez myregion par l'identifiant de la région dans laquelle vous exécutez Athena.

CREATE EXTERNAL TABLE impressions (
    requestbegintime string,
    adid string,
    impressionId string,
    referrer string,
    useragent string,
    usercookie string,
    ip string,
    number string,
    processid string,
    browsercokie string,
    requestendtime string,
    timers struct<
       modellookup:string, 
       requesttime:string>,
    threadid string, 
    hostname string,
    sessionid string
)   PARTITIONED BY (dt string)
ROW FORMAT SERDE 'org.openx.data.jsonserde.JsonSerDe'
LOCATION 's3://amzn-s3-demo-bucket.elasticmapreduce/samples/hive-ads/tables/impressions';

Exemple : désérialisation des données JSON imbriquées

Vous pouvez utiliser les SerDe JSON pour analyser des données codées en JSON plus complexes. Cela implique l'utilisation d'instructions CREATE TABLE utilisant des éléments struct et array pour représenter des structures imbriquées.

L'exemple suivant crée une table Athena à partir de données JSON ayant des structures imbriquées. Il présente la structure suivante :

{
"DocId": "AWS",
"User": {
        "Id": 1234,
        "Username": "carlos_salazar", 
        "Name": "Carlos",
"ShippingAddress": {
"Address1": "123 Main St.",
"Address2": null,
"City": "Anytown",
"State": "CA"
   },
"Orders": [
   {
     "ItemId": 6789,
     "OrderDate": "11/11/2022" 
   },
   {
     "ItemId": 4352,
     "OrderDate": "12/12/2022"
   }
  ]
 }
}

N’oubliez pas que le SerDe OpenX s’attend à ce que chaque enregistrement JSON se trouve sur une ligne de texte distincte. Lorsqu’elles sont stockées dans Amazon S3, toutes les données de l’exemple précédent doivent figurer sur une seule ligne, comme illustré ci-dessous :

{"DocId":"AWS","User":{"Id":1234,"Username":"carlos_salazar","Name":"Carlos","ShippingAddress" ...

L’instruction CREATE TABLE suivante utilise le SerDe Openx-JsonSerDe avec les types de données de collecte struct et array pour établir des groupes d’objets pour les données de l’exemple.

CREATE external TABLE complex_json (
   docid string,
   `user` struct<
               id:INT,
               username:string,
               name:string,
               shippingaddress:struct<
                                      address1:string,
                                      address2:string,
                                      city:string,
                                      state:string
                                      >,
               orders:array<
                            struct<
                                 itemid:INT,
                                  orderdate:string
                                  >
                              >
               >
   )
ROW FORMAT SERDE 'org.openx.data.jsonserde.JsonSerDe'
LOCATION 's3://amzn-s3-demo-bucket/myjsondata/';

Utilisez une instruction SELECT semblable à la suivante pour interroger la table :

SELECT 
 user.name as Name, 
 user.shippingaddress.address1 as Address, 
 user.shippingaddress.city as City, 
 o.itemid as Item_ID, o.orderdate as Order_date
FROM complex_json, UNNEST(user.orders) as temp_table (o)

Pour accéder aux champs de données des structures, la requête de l’exemple utilise la notation par points (par exemple, user.name). Vous pouvez utiliser la fonction UNNEST pour accéder aux données d’un tableau de structures (comme pour le champ orders). La fonction UNNEST aplatit le tableau en table temporaire (appelée o dans ce cas). Vous pouvez ainsi utiliser la notation par points comme vous le feriez avec les structures pour accéder aux éléments de tableau non imbriqués (par exemple, o.itemid). Le nom temp_table, utilisé dans l’exemple à des fins d’illustration, est souvent abrégé en t.

Le tableau ci-dessous présente les résultats de la requête.