ソート済みデータ

ソート済みデータを使用するようにアグリゲータトランスフォーメーションを設定する場合は、データフローのこれより前の時点でデータをソートする必要があります。アグリゲータトランスフォーメーションでリレーショナルデータベースのデータを処理する場合は、ソースのソートキーを一意にすることも必要です。データが事前に正しくソートされていない場合や、ソートキーが一意でない場合は、マッピングタスクの実行時に予期しない結果を受け取ったりエラーが発生する可能性があります。

マッピングタスクは、ソート済みデータで集計計算を実行するとき、同じグループの連続する行をキャッシュします。このタスクは、別のグループのデータを読み取ると、キャッシュしたグループの集計計算を実行し、次のグループに進みます。

例えば、あるアグリゲータトランスフォーメーションでSTORE_IDとITEMのGroup Byフィールドがあり、［ソート済み入力］オプションが選択されているとします。アグリゲータを通して以下のデータを渡すと、マッピングタスクは新しいグループである201/batteryを検出するとすぐに、101/batteryグループの3つの行について集計を実行します。

ソート済みデータを使用しない場合は、マッピングタスクでは、すべてのデータが読み取られた後で集計計算が実行されます。