クレンジングアセットの概要
クレンジングアセットは、データのフォームおよび内容を標準化できる1つ以上のデータトランスフォーメーションステップのセットです。アセットは、1つ以上のクレンジングインスタンスで構成されています。クレンジングアセットの各インスタンスには、クレンジング操作を適用するための入力フィールドが含まれています。アセット内でクレンジングインスタンスで指定した入力フィールドに対してクレンジングおよびマージ操作を実行するように、クレンジングアセットを設定できます。
次の目標を達成するためにデータを標準化することができます。
- データセット内のデータ整合性の改善
- データでは、データ値の範囲を使用して同じデータポイントを表すことができます。例えば、国名のフィールドには、完全な名前、ISOの3文字コード、およびその他非標準の国の識別子の組み合わせが含まれる可能性があります。値を標準化すると、データフィールドの統一性を確保できます。
- データのエラー修正
- データには、特定のデータ値の正しいスペルと正しくないスペルが含まれる可能性があります。データを標準化すると、エラーを見つけて修正することができます。
- 規制基準の順守
- 業界または政府が定義する最新の規制基準にデータが適合していることを確認する必要がある場合があります。例えば、不正の可能性があるアカウントについてデータセットを検索することができます。イニシアティブを開始するには、データを標準化して不正確な値をREVIEWなどの単一の用語に置換します。新しい用語を含むレコードの確認に進むことができます。
- ダウンストリームデータ品質イニシアティブの準備
- データ品質プロジェクトの最初のステップとしてデータを標準化することがあります。例えば、共通のビジネス用語と郵便アドレス用語を標準化してから、アドレスデータに対してベリファイヤトランスフォーメーションを含むマッピングを実行します。
- データフィールドをマージして、データセットを効果的に管理します
- データセットには、個別のフィールドのデータ情報が含まれている場合があります。これらの情報を組み合わせて1つのフィールドに追加することもできます。例えば、データセットの[ファーストネーム]フィールドと[名字]フィールドの他に、単一の[フルネーム]フィールドが必要になる場合があります。2つの別々のフィールドを1つのフィールドにマージできます。
Data Qualityでクレンジングアセットを作成してテストし、データ統合でマッピングのクレンジングトランスフォーメーションにクレンジングアセットを追加します。
マッピングが実行されると、クレンジングトランスフォーメーションによって、クレンジングアセットで定義した操作が入力データで選択したフィールドに適用されます。トランスフォーメーションからの出力には、標準化されたフィールド値と、アセットで設定したマージ済みのフィールドが含まれます。