Big Data
ここでは、バージョン10.1の新しいBig Data機能について説明します。
Hadoopエコシステム
Big Data Management 10.1でのサポート
バージョン10.1では、次のHadoopディストリビューションの更新バージョンをサポートしています。
- •Azure HDInsight 3.3
- •Cloudera CDH 5.5
- •MapR 5.1
Big Data Management 10.1でサポートされるすべてのHadoopディストリビューションを示したリストについては、『Informatica Big Data Management 10.1インストール&環境設定ガイド』を参照してください。
Hadoopセキュリティシステム
バージョン10.1では、InformaticaでHadoopエコシステムの次のセキュリティシステムがサポートされるようになりました。
- •Apache Knox
- •Apache Ranger
- •Apache Sentry
- •HDFS Transparent Encryption
セキュリティシステムとHadoop配布プラットフォームの組み合わせによっては、制限事項が適用されます。Informaticaによるこれらのテクノロジーのサポートの詳細については、『Informatica Big Data Management 10.1セキュリティガイド』を参照してください。
Sparkランタイムエンジン
バージョン10.1では、Hadoop環境のApache Sparkエンジンにマッピングをプッシュできます。
Sparkは、Hadoopクラスタでマッピングを実行できるランタイムエンジンを備えたApacheプロジェクトです。Sparkエンジンに固有のHadoop接続プロパティを設定します。マッピングを作成したら、BlazeおよびHiveエンジンと同じ方法で、マッピングを検証し実行プランを表示できます。
マッピングロジックをSparkエンジンにプッシュすると、データ統合サービスはScalaプログラムを生成し、それをアプリケーションにパッケージ化します。そのアプリケーションはデータ統合サービスによりSpark実行者に送信され、そこからHadoopクラスタのリソースマネージャにサブミットされます。リソースマネージャは、アプリケーションを実行するリソースを特定します。ジョブはAdministratorツールで監視できます。
Sparkを使用したマッピングの実行の詳細については、『Informatica Big Data Management 10.1ユーザーガイド』を参照してください。
リレーショナルソースとリレーショナルターゲットのSqoop接続
バージョン10.1では、Sqoopを使用して、リレーショナルデータベースとHDFS間のデータをMapReduceを介して処理できます。Sqoopを使用してデータをインポートおよびエクスポートできます。Sqoopを使用するときは、Hadoopクラスタのノードにリレーショナルデータベースのクライアントおよびソフトウェアをインストールする必要はありません。
Sqoopを使用するには、JDBC接続でSqoopプロパティを設定し、Hadoop環境でマッピングを実行する必要があります。JDBC準拠のデータベースに基づくリレーショナルデータオブジェクト、カスタマイズされたデータオブジェクト、および論理データオブジェクトにSqoop接続を設定できます。例えば、次のデータベースに対して、Sqoop接続を設定できます。
- •Aurora
- •IBM DB2
- •IBM DB2 for z/OS
- •Greenplum
- •Microsoft SQL Server
- •Netezza
- •Oracle
- •Teradata
Hiveランタイム環境でSqoopを使用するデータオブジェクトに対してプロファイルを実行することもできます。
詳細については、『Informatica 10.1 Big Data Managementユーザーガイド』を参照してください。
Blazeエンジンでのトランスフォーメーションサポート
バージョン10.1では、次のトランスフォーメーションがBlazeエンジンでサポートされています。
- •アドレスバリデータ
- •大文字小文字変換プログラム
- •比較
- •統合
- •データプロセッサ
- •ディシジョン
- •キージェネレータ
- •ラべラ
- •一致
- •マージ
- •ノーマライザ
- •パーサー
- •シーケンスジェネレータ
- •標準化
- •加重平均
アドレスバリデータ、コンソリデーション、データプロセッサ、一致、およびシーケンスジェネレータトランスフォーメーションが、制限付きでサポートされています。
バージョン10.1では、次のトランスフォーメーションがBlazeエンジンで追加でサポートされています。
- •アグリゲータ。パススルーポートをサポートします。
- •ルックアップ。接続されていないルックアップトランスフォーメーションをサポートします。
詳細については、『Informatica Big Data Management 10.1ユーザーガイド』の「Hadoop環境でのマッピングオブジェクト」の章を参照してください。