Data Engineering Streaming
ここでは、バージョン10.4.0の新しいData Engineering Streaming機能について説明します。
ストリーミングマッピングのConfluentスキーマレジストリ
バージョン10.4.0では、スキーマレジストリを使用して、Confluent Kafkaをストリーミングマッピングのソースとターゲットとして使用できます。
ストリーミングマッピングでApache Avroスキーマの保存や取得を行う場合、Confluent Kafkaを使用できます。スキーマレジストリはKafkaを基盤となるストレージメカニズムとして使用します。
詳細については、Data Engineering Streaming 10.4.0ユーザーガイドを参照してください。
ストリーミングマッピングでのデータ品質トランスフォーメーション
バージョン10.4.0では、ストリーミングマッピングでデータ品質トランスフォーメーションを使用できます。
ストリーミングマッピングで次のデータ品質トランスフォーメーションを使用すると、データ品質プロセスをストリーミングデータに適用できます。
- •アドレスバリデータトランスフォーメーション
- •分類子トランスフォーメーション
- •パーサートランスフォーメーション
- •標準化トランスフォーメーション
詳細については、Data Engineering Streaming 10.4.0ユーザーガイドを参照してください。
ストリーミングマッピングの一時クラスタ
バージョン10.4.0では、ワークフローを実行してマッピングやその他のタスクをクラウドプラットフォームクラスタ上で実行する一時クラスタを作成できます。
クラスタが削除される時点からデータプロセスを再開するには、外部ストレージとチェックポイントディレクトリを指定して、一時クラスタ上でストリーミングマッピングを実行します。
詳細については、Data Engineering Streaming 10.4.0ユーザーガイドを参照してください。
Amazon S3のFileNameポート
バージョン10.4.0では、Amazon S3ファイルのデータオブジェクト書き込み操作を作成するときに、デフォルトでFileNameポートが表示されます。
実行時にデータ統合サービスでFileNameポートの各値に個別にディレクトリが作成され、そのディレクトリにターゲットファイルが追加されます。
詳細については、Data Engineering Streaming 10.4.0ユーザーガイドを参照してください。
Microsoft Azure Data Lake Storage Gen2
バージョン10.4.0では、ストリーミングマッピングにMicrosoft Azure Data Lake Storage Gen2をターゲットとして使用できます。
Azure Data Lake Storage Gen2はAzure Blob Storageをベースに構築されています。Azure Data Lake Storage Gen2には、Azure Data Lake Storage Gen1およびAzure Blob Storage両方の機能があります。Azure Databricksバージョン5.4またはAzure HDInsightバージョン4.0を使用して、Azure Data Lake Storage Gen2に保存されたデータにアクセスできます。
詳細については、Data Engineering Streaming 10.4.0ユーザーガイドを参照してください。
Azure Databricksでのストリーミングマッピング
バージョン10.4.0では、Microsoft AzureクラウドサービスでAzure Databricksサービスのストリーミングマッピングを実行できます。
- ソースおよびターゲット
Databricks環境内では次のソースとターゲットに対してストリーミングマッピングを実行できます。
- - Microsoft Azure Event Hubs
- - Azure Data Lake Storage Gen2（ADLS Gen2）
- トランスフォーメーション
Databricksストリーミングマッピングに、以下のトランスフォーメーションを追加することができます。
- - アグリゲータ
- - 式
- - フィルタ
- - ジョイナ
- - ノーマライザ
- - ランク
- - ルータ
- - 共有体
- - Window
- データ型
- 次のデータ型がサポートされます。
- - Array
- - Bigint
- - Date/Time
- - Decimal
- - Double
- - Integer
- - Map
- - Struct
- - Text
- - String
- Workflows
クラスタワークフローを作成すると、Databricks環境で一時クラスタを作成できます。Databricks環境で一時クラスタを作成するには、Azure Data Lake Storage Gen1（ADLS Gen1）およびAzure Data Lake Storage Gen2（ADLS Gen2）を使用します。
Azure Databricksでのストリーミングマッピングの詳細については、Data Engineering Streaming 10.4.0ユーザーガイドを参照してください。
Data Engineering Streamingの動的マッピング
バージョン10.4.0では、テクニカルプレビューでData Engineering Streamingの動的マッピングがサポートされます。
Confluent Kafkaデータオブジェクトは、ストリーミングマッピングの動的ソースおよびターゲットとして使用できます。
評価目的でのテクニカルプレビュー機能はサポートされていますが、保証対象外で本番環境には対応していません。非本番環境でのみ使用することをお勧めします。Informaticaでは、本番環境用に次のリリースでプレビュー機能を導入するつもりですが、市場や技術的な状況の変化に応じて導入しない場合もあります。詳細については、Informaticaグローバルカスタマサポートにお問い合わせください。