パーティション
詳細モードでは、実行時に作成する一部のタイプのパーティション化されたターゲットにデータをロードするときに、パーティションキーフィールドを設定できます。一部のターゲットタイプでは、パーティションを使用して、ターゲットへのデータのロードを最適化できます。
［パーティション化］タブで、パーティションキーフィールドとパーティション化方法を設定できます。［パーティション化］タブは、詳細モードのターゲットに対して表示されます。
パーティションキーフィールド
実行時に作成する特定のタイプのパーティション化されたターゲットにデータをロードするときに、パーティションキーとして使用されるフィールドを設定できます。複合ファイルターゲットにデータを書き込む場合は、パーティションキーフィールドを設定する必要が生じる場合があります。
例えば、実行時に作成するAmazon S3 V2ターゲットにデータをロードするマッピングを作成できます。ターゲットは、Avroデータファイルを利用するパーティション化されたHiveテーブルです。YEAR、MONTH、およびDAYカラムに基づいてパーティション化されたディレクトリにデータファイルを書き込む必要があります。YEAR、MONTH、およびDAYフィールドをパーティションキーとして設定します。
［パーティション化］タブの［パーティションフィールド］領域で、パーティションキーとして使用するフィールドを設定します。パーティションキーフィールドの追加、削除、および順序変更ができます。
さまざまなターゲットタイプに対するパーティションキーフィールドの設定の詳細については、目的のコネクタのヘルプを参照してください。
パーティション化方法
マッピングタスクが大規模なデータセットをロードする場合、データをロードするためにタスクに長い時間がかかる可能性があります。複数のパーティションを使用すると、マッピングタスクはデータを複数のパーティションに分割し、各パーティションのデータを同時にロードします。これにより、パフォーマンスを最適化できます。すべてのターゲットタイプがパーティション化をサポートしているわけではありません。
詳細モードのターゲットがパーティション化をサポートしている場合は、［パーティション化］タブの［並行処理］領域でパーティション化方法を選択できます。選択できるパーティション化方法は、ターゲットタイプによって異なります。さまざまなタイプのターゲットのパーティション化の詳細については、目的のコネクタのヘルプを参照してください。
ターゲットタイプに応じて、次のいずれかのパーティション化方法を選択できます。
- なし
- マッピングタスクが、すべてのデータを単一のパーティションにロードします。これがデフォルトのオプションです。
- 固定
マッピングタスクが、指定したパーティション数に基づいてデータの行を分散します。最大で64のパーティションを指定できます。
ターゲットに渡されるレコードの数を考慮して、ターゲットパーティションの適切な数を決定してください。レコードが少ない場合、パーティション化による利点はあまりありません。
- パススルー
- マッピングタスクが、パーティション間で行を再分散せずにデータを処理します。単一のパーティション内のすべての行が、そのパーティション内に留まります。パフォーマンスを向上させるために新しいパーティションを作成して、パーティション間のデータの分散を変更しない場合に、パススルーパーティション化を選択します。
- 動的
- マッピングタスクが、実行時に作成するパーティションの最適な数を決定します。