Hadoopファイルソースからの入力の処理
Hadoopファイルソースを構造パーサートランスフォーメーションに接続すると、ローカルファイル入力またはHDFS入力を処理できます。例えば、Hadoop環境のストリーミングモードの場合、構造パーサートランスフォーメーションでHadoopファイルソースからの大きなデータ入力を処理できます。
Hortonworks Data PlatformまたはClouderaディストリビューションへのHadoopファイル接続を作成し、構造パーサートランスフォーメーションに入力を提供できます。
Hadoopファイルソースの詳細については、「Hadoop Files V2 Connector」を参照してください。Hadoop Files V2コネクタは、1つのファイルまたはディレクトリ全体を処理できます。ディレクトリを処理する場合、コネクタはファイルを再帰的に処理します。
構造パーサートランスフォーメーションでHadoopファイルソースからの出力を処理できるようにするには、構造パーサートランスフォーメーションでフィールドマッピング設定を定義します。［受信フィールド］パネルの［データ］および［ファイルパス］フィールドを［構造パーサー入力フィールド］パネルの［データ］および［ファイルパス］フィールドにマッピングします。フィールドのマッピングは自動または手動で実行できます。