フラット化された出力の処理

出力フィールドを追加するには、追加する入力フィールドまたは入力グループの横にあるチェックボックスをオンにします。親を選択するとすべての子項目が自動的に選択されますが、不要なエントリを選択解除することもできます。また、出力から不要なエントリを削除することもできます。

階層データのフラット化

フラット化された階層データの例

フラット化された出力グループとフィールドの名前変更

プロパティ	説明
名前	出力フィールドの名前です。
タイプ	現在のフィールドのデータ型。データ型を変更することはできません。
精度	フィールドの合計有効桁数。精度を変更することはできません。
スケール	小数点以下の桁数。スケールを変更することはできません。

式の形式

階層プロセッサトランスフォーメーションは、さまざまなデータセットからの情報を処理できます。一部のフィールド名は、異なるデータセット間で一意ではない場合があります。その結果、同じフィールド名が別のデータセットまたは同じデータセットの階層内で使用される可能性があるため、フィールドをその名前で単純に参照することはできません。

:fld.{input_group_name.field_name}.field_name

構文部分	説明
.fld.	階層プロセッサトランスフォーメーションの式の構文を示します。
input_group_name	入力グループまたはデータセットの名前。
field_name	最上位のフィールドでない場合は、フルパス名を含むフィールドの名前。配列タイプのフィールドがある場合は、配列名を含めます。配列がプリミティブで配列名がない場合は、配列名としてelemを使用します。構造または配列内のフィールドの場合、実際のフィールド名は右中括弧の外側で指定します。
.field_name	構造または配列内のフィールドを参照する場合にのみ、field_nameの部分を含めます。以下のガイドラインに従ってください。 - 構造内のフィールドの場合、field_name部分は次の形式を使用します: .structName.fieldname - 配列内のフィールドの場合、field_name部分は次の形式を使用します: .fieldName

JSONデータを使用したマッピングの実行

JSON入力の読み取り

{"Name":"Tom","Street":"2100 Seaport Blvd","City":"Redwood City","State":"CA","Country":"USA","Zip":"94063"}

{
"Name": "Tom",
"Surname": "Day",
"City": "Redwood City",
"State": "CA",
"Country": "USA",
"Zip": "94063"
}

デフォルトでは、階層プロセッサトランスフォーメーションは各JSONスキーマを単一行として読み取ります。複数行にまたがる入力を読み取るには、複数行のJSONファイルを読み取るようにソーストランスフォーメーションで形式オプションを設定できます。

JSON出力の書き込み

階層からフラット化済みの例

セッションプロパティ名	セッションプロパティ値
spark.sql.shuffle.partitions	1

{
"people": [{
"personal": {
"age": 20,
"gender": "M",
"name": {
"first": "John",
"last": "Doe"
}
},
"vehicles": [{
"type": "car",
"model": "Honda Civic",
"insurance": {
"policy_num": "HA12345"
},
"maintenance": [{
"desc": "oil change",
"cost": "111.50",
"summary": [{
"line1": "0w20",
"line2": "synthetic"
}, {
"line1": "2.0L 4-cyl",
"line2": "4.4 quarts"
}]
}, {
"desc": "new tires",
"cost": "425.00",
"summary": [{
"line1": "235/40R18",
"line2": "4 tires"
}, {
"line1": "All Season",
"line2": "No spare"
}]
}]
}, {
"type": "truck",
"model": "Dodge Ram",
"insurance": {
"policy_num": "DR12345"
},
"maintenance": [{
"desc": "new tires",
"cost": "299.99",
"summary": [{
"line1": "275/60R20",
"line2": "2 tires"
}, {
"line1": "All Season",
"line2": "No spare"
}]
}, {
"desc": "oil change",
"cost": "111.50",
"summary": [{
"line1": "5w30",
"line2": "conventional"
}, {
"line1": "5.7L V8",
"line2": "7.0 quarts"
}]
}]
}],
"source": "internet"
}, {
"personal": {
"age": 24,
"gender": "F",
"name": {
"first": "Jane",
"last": "Roberts"
}
},
"vehicles": [{
"type": "car",
"model": "Toyota Camry",
"insurance": {
"policy_num": "TC98765"
},
"maintenance": [{
"desc": "tires rotated",
"cost": "389.50",
"summary": [{
"line1": "4 tires",
"line2": "leak repairs"
}]
}, {
"desc": "oil change",
"cost": "59.50",
"summary": [{
"line1": "0w20",
"line2": "special"
}]
}]
}, {
"type": "car",
"model": "Honda Accord",
"insurance": {
"policy_num": "HA98765"
},
"maintenance": [{
"desc": "new air filter",
"cost": "399.50",
"summary": [{
"line1": "17220-6B2-A00",
"line2": "rebuild assembly"
}]
}, {
"desc": "new brakes",
"cost": "799.50",
"summary": [{
"line1": "2-443344586",
"line2": "rear brake kit"
}]
}]
}],
"source": "phone"
}]
}

手順1。マッピングを設計します

手順2。出力グループを設定します

手順3。マッピングを実行します

type	model	policy_num	desc	cost	Summary_line1	Summary_line2	source
car	Honda Civic	HA12345	oil change	111.5	0w20	synthetic	internet
car	Honda Civic	HA12345	oil change	111.5	2.0L 4-cyl	4.4 quarts	internet
car	Honda Civic	HA12345	new tires	425	235/40R18	4 tires	internet
car	Honda Civic	HA12345	new tires	425	All Season	No spare	internet
truck	Dodge Ram	DR12345	new tires	299.99	275/60R20	2 tires	internet
truck	Dodge Ram	DR12345	new tires	299.99	All Season	No spare	internet
truck	Dodge Ram	DR12345	oil change	111.5	5w30	conventional	internet
truck	Dodge Ram	DR12345	oil change	111.5	5.7L V8	7.0 quarts	internet
car	Toyota Camry	TC98765	tires rotated	389.5	4 tires	leak repairs	phone
car	Toyota Camry	TC98765	oil change	59.5	0w20	special	phone
car	Honda Accord	HA98765	new air filter	399.5	17220-6B2-A00	rebuild assembly	phone
car	Honda Accord	HA98765	new brakes	799.5	2-443344586	rear brake kit	phone