リリースガイド > 部 IV: バージョン10.2 > 変更点（10.2） > Big Data

Big Data

ここでは、10.2のBig Dataの変更内容について説明します。

Hadoop接続

バージョン10.2では、次の変更はHadoop接続プロパティに影響します。

次のプロパティを使用して、Hadoop接続を設定できます。

プロパティ	説明
クラスタ設定	Hadoop環境に関連付けられているクラスタ設定の名前。［全般プロパティ］に表示されます。
Hadoopへの拒否ファイルの書き込み	マッピングを実行するときに、拒否ファイルを［拒否ファイルディレクトリ］プロパティに一覧表示されているHDFSの場所に移動するためのプロパティを選択します。［拒否ディレクトリのプロパティ］に表示されます。
拒否ファイルディレクトリ	マッピングを実行するときの、HDFS上のHadoopマッピングファイルのディレクトリ。［拒否ディレクトリのプロパティ］に表示されます。
Blazeジョブ監視アドレス	Blazeジョブ監視のホスト名およびポート番号。［Blaze設定］に表示されます。
YARNキュー名	クラスタで使用可能なリソースを指定するSparkエンジンによって使用されるYARNスケジューラキュー名。［Blaze設定］に表示されます。

バージョン10.2では、次のプロパティの名前が変更されます。

現在の名前	以前の名前	説明
ImpersonationUserName	HiveUserName	Hadoop偽装ユーザーです。Hadoop環境でマッピングを実行するためにデータ統合サービスが偽装するユーザー名です。
Hiveステージングデータベース名	データベース名	Hiveステージングテーブルの名前空間。［共通プロパティ］に表示されます。以前は［Hiveのプロパティ］に表示されていました。
HiveWarehouseDirectory	HiveWarehouseDirectoryOnHDFS	クラスタに対してローカルなウェアハウスの、デフォルトデータベースのHDFSファイルの絶対パスです。
Blazeステージングディレクトリ	HDFS上の一時作業ディレクトリ CadiWorkingDirectory	Blazeエンジンが一時ファイルを保存するために使用するディレクトリのHDFSファイルパス。［Blaze設定］に表示されます。
Blazeユーザー名	Blazeサービスのユーザー名 CadiUserName	BlazeサービスとBlazeサービスログの所有者。［Blaze設定］に表示されます。
YARNキュー名	Yarnキュー名 CadiAppYarnQueueName	クラスタ上の利用可能なリソースを指定するBlazeエンジンが使用するYARNスケジューラのキュー名。［Blaze設定］に表示されます。
BlazeMaxPort	CadiMaxPort	Blazeエンジンのポート番号範囲の最大値。
BlazeMinPort	CadiMinPort	Blazeエンジンのポート番号範囲の最小値。
BlazeExecutionParameterList	CadiExecutionParameterList	Blazeエンジンに適用される設定パラメータの任意のリスト。
SparkYarnQueueName	YarnQueueName	クラスタで使用可能なリソースを指定するSparkエンジンによって使用されるYARNスケジューラキュー名。
Sparkステージングディレクトリ	Spark HDFSステージングディレクトリ	Sparkエンジンがジョブ実行用の一時ファイルを保存するために使用するディレクトリのHDFSファイルパス。

バージョン10.2では、次のプロパティが接続から削除され、クラスタ設定にインポートされます。

プロパティ	説明
リソースマネージャアドレス	リソースの要求を送信したり、YARNアプリケーションを生成したりするHadoop内のサービス。プロパティyarn.resourcemanager.addressとしてクラスタ設定にインポートされます。以前は［Hadoopクラスタプロパティ］に表示されていました。
デフォルトのファイルシステムURI	デフォルトのHadoop分散ファイルシステムにアクセスするためのURI。プロパティfs.defaultFSまたはfs.default.nameとしてクラスタ設定にインポートされます。以前は［Hadoopクラスタプロパティ］に表示されていました。

バージョン10.2では、次のプロパティは廃止されたため、接続から削除されます。

プロパティ	説明
タイプ	接続タイプ。以前は［全般プロパティ］に表示されていました。
メタストア実行モード*	リモートメタストアとローカルメタストアのどちらに接続するかを制御します。以前は［Hive構成］に表示されていました。
メタストアデータベースのURI*	ローカルメタストアセットアップ内のデータストアにアクセスするために使用されるJDBC接続のURI。以前は［Hive構成］に表示されていました。
メタストアデータベースドライバ*	JDBCデータストアのドライバクラス名。以前は［Hive構成］に表示されていました。
メタストアデータベースユーザー名*	メタストアデータベースユーザー名。以前は［Hive構成］に表示されていました。
メタストアデータベースパスワード*	メタストアユーザー名のパスワード。以前は［Hive構成］に表示されていました。
リモートメタストアのURI*	リモートメタストアセットアップ内のメタデータにアクセスするために使用されるメタストアのURI。このプロパティは、プロパティhive.metastore.urisとしてクラスタ設定にインポートされます。以前は［Hive構成］に表示されていました。
ジョブ監視URL	MapReduce JobHistoryサーバーのURL。以前は［Hive構成］に表示されていました。
* これらのプロパティは10.2で廃止されています。10.2にアップグレードすると、以前のリリースで設定したプロパティ値はリポジトリに保存されますが、接続プロパティには表示されません。

HBase接続プロパティ

バージョン10.2では、次のプロパティが接続から削除され、クラスタ設定にインポートされます。

プロパティ	説明
ZooKeeperホスト	ZooKeeperサーバーをホストするマシンの名前。
ZooKeeperポート	ZooKeeperサーバーをホストするマシンのポート番号。
Kerberos接続の有効化	Kerberos認証を使用するHBase MasterサーバーまたはRegionサーバーと通信するために、Informaticaドメインを有効にします。
HBase Masterプリンシパル	HBase Masterサーバーのサービスプリンシパル名（SPN）。
HBase Regionサーバープリンシパル	HBase Regionサーバーのサービスプリンシパル名（SPN）。

Hive接続プロパティ

バージョン10.2では、PowerExchange for Hiveが次のように変更されました。

•HiveドライバがHadoopクラスタ内のマッピングを実行する場合は、PowerExchange for Hiveの接続を使用することはできません。Hiveドライバを使用してHadoopクラスタでマッピングを実行するには、Hadoop接続を使用します。
•次のプロパティは、接続から削除され、クラスタ設定にインポートされます。

プロパティ	説明
デフォルトFSのURI	デフォルトのHadoop分散ファイルシステムにアクセスするためのURI。
JobTracker/YarnリソースマネージャURI	クラスタ内の特定のノードにMapReduceタスクを送信する、Hadoop内のサービス。
HDFS上のHiveウェアハウスディレクトリ	クラスタに対してローカルなウェアハウスの、デフォルトデータベースのHDFSファイルの絶対パスです。
メタストア実行モード	リモートメタストアとローカルメタストアのどちらに接続するかを制御します。
メタストアデータベースのURI	ローカルメタストアセットアップ内のデータストアにアクセスするために使用されるJDBC接続のURI。
メタストアデータベースのドライバ	JDBCデータストアのドライバクラス名。
メタストアデータベースユーザー名	メタストアデータベースユーザー名。
メタストアデータベースパスワード	メタストアユーザー名のパスワード。
リモートメタストアのURI	リモートメタストアセットアップ内のメタデータにアクセスするために使用されるメタストアのURI。このプロパティは、プロパティhive.metastore.urisとしてクラスタ設定にインポートされます。

HBase Connection Properties for MapR-DB

バージョン10.2では、［Kerberos接続の有効化］プロパティは、MapR-DBのHBase接続から削除され、クラスタ接続にインポートされます。

マッピングランタイムプロパティ

ここでは、マッピング実行時のプロパティの変更内容を一覧表示します。

実行環境

バージョン10.2では、Hadoop実行環境で拒否ファイルディレクトリを新しいプロパティとして設定できます。

名前	値
拒否ファイルディレクトリ	Hadoop環境でマッピングを実行するときのHDFS上のHadoopマッピングファイルのディレクトリ。 Blazeエンジンは、フラットファイル、HDFS、およびHiveターゲットのHadoop環境に拒否ファイルを書き込むことができます。SparkおよびHiveエンジンは、フラットファイルおよびHDFSターゲットのHadoop環境に拒否ファイルを書き込むことができます。次のいずれかのオプションを選択します。 - データ統合サービスマシン上。データ統合サービスは、RejectDirシステムパラメータに基づいて拒否ファイルを格納します。 - Hadoopクラスタ上。拒否ファイルは、Hadoop接続で設定された拒否ディレクトリに移動します。ディレクトリが設定されていない場合、マッピングは失敗します。 - Hadoop接続に従います。拒否ファイルは、Hadoop接続プロパティで拒否ディレクトリが有効になっているかどうかに基づいて移動します。拒否ディレクトリが有効になっている場合、拒否ファイルはHadoop接続で設定されている拒否ディレクトリに移動します。そうでない場合は、データ統合サービスは、RejectDirシステムパラメータに基づいて拒否ファイルを格納します。

名前

値

拒否ファイルディレクトリ

Hadoop環境でマッピングを実行するときのHDFS上のHadoopマッピングファイルのディレクトリ。

Blazeエンジンは、フラットファイル、HDFS、およびHiveターゲットのHadoop環境に拒否ファイルを書き込むことができます。SparkおよびHiveエンジンは、フラットファイルおよびHDFSターゲットのHadoop環境に拒否ファイルを書き込むことができます。

次のいずれかのオプションを選択します。

- データ統合サービスマシン上。データ統合サービスは、RejectDirシステムパラメータに基づいて拒否ファイルを格納します。
- Hadoopクラスタ上。拒否ファイルは、Hadoop接続で設定された拒否ディレクトリに移動します。ディレクトリが設定されていない場合、マッピングは失敗します。
- Hadoop接続に従います。拒否ファイルは、Hadoop接続プロパティで拒否ディレクトリが有効になっているかどうかに基づいて移動します。拒否ディレクトリが有効になっている場合、拒否ファイルはHadoop接続で設定されている拒否ディレクトリに移動します。そうでない場合は、データ統合サービスは、RejectDirシステムパラメータに基づいて拒否ファイルを格納します。

監視

バージョン10.2では、Administratorツールの［サマリ統計］ビューのAllHiveSourceTables行に、次のソースから読み取られたレコードが含まれています。

•マッピング内の元のHiveソース。
•Hiveエンジンによって定義されたHiveステージングテーブル。
•各クエリで2つのリンクされたMapReduceジョブ間でのステージングデータ。

LDTMセッションに1つのMapReduceジョブが含まれている場合、AllHiveSourceTablesの統計情報には、マッピング内の元のHiveソースのみが含まれます。

詳細については、『Big Data Management 10.2ユーザーガイド』の「Hadoop環境でのマッピングの監視」の章を参照してください。

S3アクセスと秘密鍵のプロパティ

バージョン10.2では、クラスタ設定の機密性の高いプロパティの一覧に次のプロパティが含まれます。

•fs.s3a.access.key
•fs.s3a.secret.key
•fs.s3n.awsAccessKeyId
•fs.s3n.awsSecretAccessKey
•fs.s3.awsAccessKeyId
•fs.s3.awsSecretAccessKey

機密性の高いプロパティは、Developer toolを実行するマシン上でデプロイするためのクラスタ設定のアーカイブファイルを生成するときに含まれますが、マスクされます。

以前は、データ統合サービスとDeveloper toolを実行するマシン上の.xml設定ファイルでこれらのプロパティを設定しました。

機密性の高いプロパティの詳細については、『Informatica Big Data Management 10.2管理者ガイド』を参照してください。

Sqoop

バージョン10.2では、データベースにアクセスするためのパスワードファイルを作成するときに、Sqoopはパスワードファイルを無視します。Sqoopは、JDBC接続の［パスワード］フィールドで設定する値を使用します。

以前は、データベースにアクセスするためのパスワードファイルを作成できました。

詳細については、『Informatica Big Data Management 10.2ユーザーガイド』の「Hadoop環境でのマッピングオブジェクト」の章を参照してください。