Big Dataストリーミング

ここでは、バージョン10.2.2の新しいBig Data Streaming機能について説明します。

Azure Event Hubデータオブジェクト

バージョン10.2.2では、次のディストリビューションで、イベントハブのあるストリーミングマッピングをソースとしてデプロイできるようになりました。

Amazon Kinesis Connectionのアカウント間IAMロール

バージョン10.2.2では、アカウント間IAMロールを使用して、Amazon Kinesisソースを認証できるようになりました。

アカウント間IAMロールを使用することで、アカウントごとにユーザーを作成しなくても、リソースを1つのAWSアカウントでAWSアカウントの異なるユーザーと共有します。

詳細については、『Informatica Big Data Streaming 10.2.2ユーザーガイド』を参照してください。

インテリジェント構造モデル

バージョン10.2.2では、Big Data Streamingでインテリジェント構造モデルを使用できるようになりました。

インテリジェント構造モデルは、Kafka、Kinesis、またはAzure Event Hubデータオブジェクトで組み込むことができます。マッピングにデータオブジェクトを追加すると、モデルで解析できる入力タイプが処理できます。

データオブジェクトは、モデルの作成に使用したファイルに基づいて、PDF形式、JSON、Microsoft Excel、Microsoft Wordの表、CSV、テキスト、XMLの入力ファイルで入力を受け付けてパースすることができます。

詳細については、『Informatica Big Data Streaming 10.2.2ユーザーガイド』を参照してください。

Big Data Streamingデータオブジェクト用のヘッダーポート

バージョン10.2.2では、一部のデータオブジェクトに、イベントに関連付けられたメタデータを表すデフォルトのヘッダーポートが含まれるようになりました。たとえば、タイムスタンプポートにはイベントの生成時刻が含まれています。ヘッダポートを使用して、データをグループ化および処理できます。

ヘッダーポートの詳細については、『Informatica Big Data Streaming 10.2.2ユーザーガイド』を参照してください。

Amazon Kinesis接続でのAWS認証情報プロファイル

バージョン10.2.2では、Amazon Kinesis接続でAWS認証情報プロファイルベースの認証を使用できるようになりました。

Amazon Kinesis接続を作成する場合は、AWS認証情報プロファイル名を入力できます。マッピングは、実行時にAWS認証情報ファイルに一覧表示されたプロファイル名を使用して、AWS認証情報にアクセスします。

詳細については、『Informatica Big Data Streaming 10.2.2ユーザーガイド』を参照してください。

Spark Structured Streaming

バージョン10.2.2では、Big Data StreamingはSpark Structured Streamingを使用してストリーミングデータを処理するようになりました。

Spark Structured Streamingは、Sparkエンジンに構築された、スケーラブルでフォールトトレラントなオープンソースのストリーム処理エンジンです。到着の遅いストリーミングイベントも扱い、ソースのタイムスタンプに基づいてストリーミングデータを処理します。

Sparkエンジンではストリーミングマッピングを継続的に実行します。データを読み取り、データをマイクロバッチに分割し、マイクロバッチを処理し、結果をパブリッシュしてから、ターゲットに書き込みます。

詳細については、『Informatica Big Data Streaming 10.2.2ユーザーガイド』を参照してください。

ウィンドウトランスフォーメーション

バージョン10.2.2では、ウィンドウトランスフォーメーションを作成する際に次の機能が使用できるようになりました。