未解析データとオーバーフローデータ
解析ステップでは、入力フィールドの値を識別できない場合、未解析データのフィールドに値が書き込まれます。解析ステップで値を正常に特定できても、その値が適切な出力フィールドに割り当てられていない場合、オーバーフローデータのフィールドにその値が書き込まれます。指定された出力フィールドへの別の値の解析にすでに成功している場合、値はオーバーフローフィールドに書き込まれます。
ステップが未解析データフィールドに値を割り当てると、その値は、アセットの後続のステップで元の入力フィールドから引き続き解析できる状態になります。ステップで値がオーバーフローフィールドに書き込まれると、その値はアセットの後続のステップで使用できなくなります。このように、アセット内のすべてのステップが完了するまで、最終的に値は未解析データフィールドに書き込まれません。
実行時にアセットが生成するオーバーフローフィールドの数は、構成するステップのタイプと定義するアセットプロパティによって異なります。例えば、［詳細なオーバーフロー］プロパティを選択して、ステップごとに専用のオーバーフローフィールドを作成することができます。［詳細なオーバーフロー］プロパティはカスタムモードで使用できます。
例: オーバーフローデータフィールドの使用
値が表す情報のタイプに基づいて、複数の値のフィールドを個別のフィールドに分割するように解析ステップを構成できます。解析されたデータとオーバーフローデータのフィールドを使用して、同じタイプの情報を含む値を取得できます。
例えば、次の製品説明には、色と製品タイプの情報が含まれています。
EMERALD GREEN WOODSTAIN
製品説明では、色を定義する2つの値を使用しています。色の名前と製品タイプを個別のフィールドに解析するためのディクショナリステップを定義できます。このステップでは、色名のディクショナリを読み取り、単一のオーバーフローフィールドを指定します。
実行時に、ステップはEMERALDとGREENをディクショナリ内の値と一致する色として識別します。このステップでは、解析されたデータのフィールドにEMERALDを書き込み、オーバーフローフィールドにGREENを書き込みます。さらにこのステップでは、WOODSTAINを未解析データフィールドに書き込みます。その結果、このステップでは、EMERALD、GREEN、およびWOODSTAINという用語が個別のフィールドに書き込まれます。
必要に応じて、色を含むフィールドをダウンストリームトランスフォーメーションで結合できます。
例: 未解析データフィールドを使用した新規フィールドの作成
解析ステップで一様なデータ値または一貫したデータ値のセットが未解析データフィールドに書き込まれるように設定することができます。
例えば、次の連絡先フィールドには、名前とプレフィックスが含まれているとします。
PROFESSOR INDIRA SINGH
プレフィックス値のディクショナリを使用して、「PROFESSOR」というプレフィックスを出力フィールドに解析するステップを定義します。ステップでは、その他すべての情報が未解析データフィールドに解析されます。
未解析データフィールドには個人名を一様に表す一連の値が含まれているため、このフィールドをダウンストリーム操作で個人名データとして使用できます。
オーバーフローデータフィールドと未解析データフィールドのルールおよびガイドライン
解析アセット設定では、関連する解析トランスフォーメーションが実行時にオーバーフローデータフィールドと未解析データフィールドを作成する方法を決定します。
オーバーフローフィールドおよび未解析フィールドについては、次のルールおよびガイドラインを考慮してください。
- •アセットを［カスタム］モードで設定すると、［詳細なオーバーフロー］オプションを使用して、解析トランスフォーメーションがオーバーフローフィールドを作成する方法を指定できます。このオプションの選択を解除すると、トランスフォーメーションはアセットのすべてのオーバーフローデータに対し単一のオーバーフローフィールドを作成します。このオプションを選択すると、トランスフォーメーションはアセットのステップごとにオーバーフローフィールドを作成します。
カスタムモードでアセットを設定するときに、［解析プロパティ］ダイアログボックスで［詳細なオーバーフロー］オプションを見つけます。Data Qualityツールバーからプロパティを開きます。このオプションは、デフォルトでクリアされています。
- •アセットを事前作成済みモードで設定すると、選択したロケールによって解析トランスフォーメーションがオーバーフローフィールドを作成するかどうかを指定できます。ロケールをブラジルまたはポルトガルに設定した場合、トランスフォーメーションでオーバーフローフィールドが作成されます。その他のロケールでは、トランスフォーメーションによるオーバーフローフィールドの作成は行われません。
- •アセットを［カスタム］モードで設定すると、解析トランスフォーメーションはすべての未解析データに対し単一のフィールドを作成します。
- •アセットが事前作成済みモードで特定したロケールによって、解析トランスフォーメーションによって未解析データフィールドが作成されるかどうかが決まります。ロケールをブラジル、カナダ、ポルトガル、または米国に設定した場合、トランスフォーメーションでは未解析データフィールドは作成されません。