インテリジェントストリーミング
ビッグデータ技術の出現に伴い、組織はデータをすぐに取得して処理し、リアルタイムに活用する、迅速なデータ処理によるメリットを最大限に引き出すことに注力しています。リアルタイムストリーミング機能を追加すると、待ち時間が短縮されます。これを活用して、最新の完全な顧客ビューを作成し、オペレーショナルインテリジェンスをリアルタイムに顧客に提供できます。また、不正検出率を改善し、セキュリティリスクを低減することができます。物理的なアセットの管理も容易になり、総合的なカスタマエクスペリエンスが向上します。これにより多くの場合、意思決定プロセスが大幅に改善されます。
Informatica 10.1.1では、データストリーミング、データ処理、および重要なビジネス値の抽出をほぼリアルタイムで実行できる新製品、インテリジェントストリーミングが導入されました。これにより、ITは、リアルタイムクエリから最大限の価値を得ることができます。顧客は、Webサイトのログファイルデータ、センサから取得されるデータ、メッセージバスデータ、マシンデータなど、従来とは異なるソースから得られるさまざまなタイプのデータをリアルタイムかつ高い精度で処理できます。
インテリジェントストリーミングは、Informaticaのインテリジェントデータプラットフォームの機能拡張として構築されています。これにより、ITは、次のことが可能になります。
- •ストリーミング（連続処理）マッピングの作成および実行。
- •Apache KafkaやJMSなどのリアルタイムキューからのイベント収集。
- •データ変換、変換データに対するビジネスルールの作成、リアルタイムパターンの検出、自動応答または自動アラートの起動。
- •実行時のストリームの管理および監視。
- •at-least-once配信の提供。
- •処理した行数または実行時間に基づいた、ライフサイクルのきめ細かい制御。
- •バッチマッピングなどのイベント処理ロジックの再利用および保持（いくつかの修正後）。
インテリジェントストリーミングの機能を次に示します。
- ストリームデータの収集および転送
KafkaやJMSなどのソースから、JSON、XML、またはAvroの形式で次のタイプのデータをストリーミングできます。
- - アプリケーションおよびインフラストラクチャのログデータ
- - リレーショナルデータベースからの変更データキャプチャ（CDC）
- - Webサーバーからのクリックストリーム
- - ソーシャルメディアイベントストリーム
- - IoTデバイスからの時系列データ
- - メッセージバスデータ
- - プログラマブルロジックコントローラ（PLC）データ
- - デバイスからのPOSデータ
また、Informaticaのお客様は、InformaticaのVibe Data Stream（別途ライセンスが必要）を活用することにより、センサやマシンログなどからデータをリアルタイムで収集し、Kafkaキューに送信できます。このデータをインテリジェントストリームで処理することが可能です。
- ストリームデータの絞り込み、リッチ化、分析、および処理
- 基盤となる処理プラットフォームを使用して、次に示す複雑なデータトランスフォーメーションをリアルタイムで実行します。コーディングやスクリプト作成は不要です。
- - スライディングウィンドウとタンブリングウィンドウのオプションを使用した、ストリーミング用のウィンドウトランスフォーメーションのユースケース。
- - フィルタ、式、共有体、ルータ、集計、ジョイナ、ルックアップ、Java、およびソータトランスフォーメーションがストリーミングマッピングで使用可能。これらは、Sparkストリーミングで実行されます。
- - ルックアップトランスフォーメーションがフラットファイル、HDFS、Sqoop、およびHiveで使用可能。
- データのパブリッシュ
- Kafka、HDFS、NoSQLデータベース、エンタープライズメッセージングシステムなど、さまざまなタイプのターゲットにデータをストリーミングできます。
インテリジェントストリーミングは、Informatica Big Data Platformプラットフォームをベースに構築されており、ストリーミング機能を利用できるように拡張されています。インテリジェントストリーミングは、Sparkストリーミングを使用してストリームデータを処理し、YARNを使用してSparkクラスタのリソースをより効率的に管理します。また、サードパーティディストリビューションを使用してHadoop環境に接続し、ジョブ処理をプッシュします。
ストリーミングマッピングを作成するには、Informatica Developer（Developer tool）を使用します。マッピングを実行するには、Hadoopランタイム環境とSparkエンジンを使用します。Hadoopクラスタでストリーミングマッピングを実行するように高可用性を設定できます。
インテリジェントストリーミングの詳細については、『Informaticaインテリジェントストリーミングユーザーガイド』を参照してください。