Microsoft Azure Data Lake Storage Gen2コネクタ > Microsoft Azure Data Lake Storage Gen2のマッピング > マッピングにおけるMicrosoft Azure Data Lake Storage Gen2ターゲット

マッピングにおけるMicrosoft Azure Data Lake Storage Gen2ターゲット

マッピングでは、Microsoft Azure Data Lake Storage Gen2オブジェクトをターゲットとして使用できます。

Microsoft Azure Data Lake Storage Gen2ターゲットオブジェクトを使用する場合は、Microsoft Azure Data Lake Storage Gen2コレクションをターゲットとして選択できます。マッピングウィザードの［ターゲット］ページで、Microsoft Azure Data Lake Storage Gen2ターゲットプロパティを設定できます。Microsoft Azure Data Lake Storage Gen2にデータを書き込む場合は、［ターゲットの作成］フィールドを使用して、実行時にターゲットを作成できます。ソースに基づいて新しいターゲットを作成する場合は、フィールドマッピングからすべてのバイナリフィールドを削除する必要があります。

以下の表に、ターゲットトランスフォーメーションで設定できるMicrosoft Azure Data Lake Storage Gen2ターゲットプロパティを示します。

プロパティ	説明
接続	ターゲット接続の名前。ターゲット接続を選択するか、［新しいパラメータ］をクリックして、ターゲット接続の新しいパラメータを定義します。実行時にパラメータを上書きする場合は、パラメータの作成時に［実行時にパラメータのオーバーライドを許可する］オプションを選択します。タスクを実行すると、エージェントはタスク詳細セッションプロパティで指定されたファイルからパラメータを使用します。パラメータ化されていないMicrosoft Azure Data Lake Storage Gen2接続とパラメータ化されたMicrosoft Azure Data Lake Storage Gen2接続を切り替えると、詳細プロパティ値が保持されます。
ターゲットタイプ	［単一オブジェクト］または［パラメータ］を選択します。
オブジェクト	ターゲットオブジェクトの名前。既存のオブジェクトを選択するか、実行時に新規ターゲットを作成できます。［実行時に新規作成］を選択した場合は、ターゲットオブジェクトの名前を入力し、使用するソースフィールドを選択します。デフォルトでは、すべてのソースフィールドが使用されます。ターゲット名に英数字を含めることはできません。ファイル名では、ピリオド（.）、アンダースコア（_）、アットマーク（@）、ドル記号（$）、パーセント記号（%）のみを特殊文字として使用できます。ヘッダーまたはファイルデータに特殊文字が含まれていないことを確認してください。ターゲット名では、パラメータファイルに定義したパラメータを使用できます。［ターゲットの作成］オプションを選択した場合、実行時にターゲットをパラメータ化することはできません。注: 実行時に作成したフラットファイルにデータを書き込んだ場合、ターゲットフラットファイルのファイルの末尾に空白行が含まれます。
パラメータ	ターゲットオブジェクトの既存のパラメータを選択するか、［新しいパラメータ］をクリックしてターゲットオブジェクトの新しいパラメータを定義します。［パラメータ］プロパティは、ターゲットタイプとして［パラメータ］を選択した場合にのみ表示されます。ターゲットオブジェクトをパラメータ化するときは、パラメータのデフォルト値にファイルシステムを含む完全なオブジェクトパスを指定します。実行時にパラメータを上書きする場合は、パラメータの作成時に［実行時にパラメータのオーバーライドを許可する］オプションを選択します。タスクを実行すると、エージェントはタスク詳細セッションプロパティで指定されたファイルからパラメータを使用します。パラメータファイルが正しい形式であることを確認します。
形式	Microsoft Azure Data Lake Storage Gen2コネクタがMicrosoft Azure Data Lake Storage Gen2へのデータの書き込みに使用するファイル形式。次のファイル形式タイプの中から選択できます。 - Flat - Avro - Parquet - JSON - ORC - Delta¹ デフォルトは［なし］です。形式タイプとして［なし］を選択した場合、Microsoft Azure Data Lake Storage Gen2コネクタはデータをMicrosoft Azure Data Lake Storage Gen2ファイルにバイナリ形式で書き込みます。注: Microsoft Azure Data Lake Storage Gen2のDelta Lakeを作成する場合は、Deltaファイル形式を使用します。詳細については、ファイル形式オプションを参照してください。
操作	ターゲット操作。［挿入］を選択して、データをMicrosoft Azure Data Lake Storage Gen2ターゲットに挿入します。
¹マッピングにのみ適用されます。

注: ［ターゲットの作成］オプションを使用し、［形式オプション］の［入力形式］と一致しない拡張子のオブジェクト名を指定すると、Secure Agentは、［形式オプション］で指定した入力形式を無視します。

例えば、入力形式として［Parquet］を選択し、［ターゲットオブジェクト］ダイアログボックスのオブジェクト名でcustomer.avroを指定すると、Secure AgentはParquetを無視してAvroターゲットファイルを作成します。

以下の表に、Microsoft Azure Data Lake Storage Gen2の詳細ターゲットプロパティを示します。

詳細ターゲットプロパティ	説明
同時スレッド¹	Microsoft Azure Data Lake Storage Gen2からデータをロードするための同時接続数。サイズの大きいファイルを書き込む場合は、複数のスレッドを生成してデータを処理できます。サイズの大きいファイルを複数の小さい部分に分割するには、［ブロックサイズ］を設定します。デフォルト値は4です。最大値は10です。
ファイルシステム名のオーバーライド	デフォルトのファイル名をオーバーライドします。
ディレクトリのオーバーライド	データの書き込みに使用するMicrosoft Azure Data Lake Storage Gen2ディレクトリ。デフォルトはルートディレクトリです。ディレクトリが存在しない場合には、Secure Agentによって作成されます。実行時に指定されたディレクトリパスで、接続の作成時に指定されたパスが上書きされます。絶対ディレクトリパスまたは相対ディレクトリパスを指定できます。 - 絶対パス - Secure Agentは、指定したファイルシステムでこのディレクトリパスを検索します。絶対パスの例: Dir1/Dir2 - 相対パス - Secure Agentは、オブジェクトのネイティブディレクトリパスでこのディレクトリパスを検索します。相対パスの例: /Dir1/Dir2 相対パスを使用すると、インポートされたオブジェクトパスが、実行時にメタデータの取得中に使用されるファイルパスへ追加されます。ディレクトリをオーバーライドするためにルートディレクトリ（/）を指定しないでください。
ファイル名のオーバーライド	ターゲットオブジェクト。データの書き込み元のファイルを選択します。実行時に指定したファイルによって、オブジェクトに指定したファイルが上書きされます。
書き込みストラテジ	複合ファイルとフラットファイルに適用できます。マッピングの作成時に、フラットファイルに対して上書きおよび追加の書き込みストラテジを使用できます。ただし、上書きストラテジは複合ファイルに対してのみ使用できます。詳細モードでマッピングを作成する場合は、フラットファイルおよび複合ファイルに対して上書きおよび追加の書き込みストラテジを使用できます。実行時に新しいターゲットを作成し、追加のストラテジを使用すると、マッピングにより新しいターゲットファイルが作成され、そのファイルにデータが書き込まれます。マッピングは、後続の実行でデータを追加します。詳細モードのマッピングにデータを追加すると、データは既存のターゲットディレクトリに新しいパートファイルとして追加されます。追加できるデータの最大サイズは450MBです。デフォルトは［上書き］です。
ブロックサイズ¹	フラット、Avro、およびParquetファイル形式に適用されます。大きなファイルを指定された小さなブロックサイズに分割します。サイズの大きいファイルを書き込む場合は、ファイルを小さな部分に分割し、同時接続を設定して、データを並列処理するために必要な数のスレッドを生成してください。ブロックサイズに整数値を指定します。バイト単位のデフォルト値は8388608です。
圧縮形式	指定した形式に基づいて、データを圧縮してターゲットに書き込みます。次のいずれかのオプションを選択します。 - なし。Snappy圧縮を使用するAvroファイル、ORCファイル、Parquetファイル、およびDeltaファイルを書き込む場合に選択します。圧縮したJSONファイルを書き込むことはできません。 - Gzip。Gzip圧縮を使用するフラットファイル、Parquetファイル、およびDeltaファイルを書き込む場合に選択します。タスクが実行されると、ファイル拡張子の.gzまた.snappyはターゲットオブジェクト名には表示されません。
タイムアウト間隔	該当なし。
中間ディレクトリ¹	オプション。フラットファイルとJSONファイルに適用されます。 Secure Agentマシンのステージングディレクトリへのパス。 Microsoft Azure Data Lake Storage Gen2にデータを書き込むときにファイルをステージングするステージングディレクトリを指定します。ディレクトリに十分なスペースがあり、ディレクトリへの書き込み権限があることを確認します。デフォルトのステージングディレクトリは/tmpです。詳細モードのマッピングに、Interimディレクトリを指定することはできません。 Hosted Agentを使用する場合、Interimディレクトリを指定することはできません。
拒否された行の転送¹	拒否された行を次のトランスフォーメーションに渡すか、または削除するように、トランスフォーメーションを設定できます。
¹詳細モードのマッピングには適用されません。

ターゲットの指定

既存のターゲットを使用するか、ターゲットを作成して、マッピングの結果を格納するためにことができます。ターゲットを作成することを選択した場合、エージェントはタスクの実行時にターゲットを作成します。

ターゲットのプロパティを指定するには、次の手順に従います。

1マッピングでターゲットトランスフォーメーションを選択します。

2［受信フィールド］タブで、ターゲットに含めるフィールドを指定するフィールドルールを設定します。

3ターゲットを指定するには、［ターゲット］タブをクリックします。

4ターゲット接続を選択します。

5ターゲットタイプとして［単一オブジェクト］または［パラメータ］を選択します。

6 ターゲットオブジェクトまたはパラメータを指定します。

- 実行時にターゲットファイルを作成するには、Accounts.csvのように、拡張子を含めてターゲットファイルの名前を入力します。

注: フラットファイルから読み取る場合、ファイルにヘッダーだけでなくデータが含まれていることを確認します。ファイルにヘッダーのみが含まれる場合、ヘッダーはターゲットに書き込まれません。

- ファイル名にタイムスタンプを含める場合は、［特殊文字の処理］をクリックして、ファイル名に特殊文字を追加します。例えば、すべてのタイムスタンプ情報を含める場合は、Accounts_%d%m%y%T.csvのように指定します。
- フォルダ名にタイムスタンプを含める場合は、［特殊文字の処理］をクリックし、フォルダ名をバックスラッシュ（\）で区切って追加して、その後にファイル名が続くようにします。例: %Y%m%d\Target_filename_%m.csv。

注: ［特殊文字の処理］オプションは、詳細モードのマッピングには適用されません。

7ファイルの形式オプションを設定する場合は、［形式オプション］をクリックし、［OK］をクリックします。

8［選択］をクリックしてターゲットオブジェクトを選択します。既存のターゲットオブジェクトを選択するか、実行時に新しいターゲットオブジェクトを作成し、オブジェクト名を指定することができます。

9必要に応じて、ターゲットの詳細プロパティを指定します。

ターゲットのタイムスタンプ

マッピングで実行時にターゲットを作成する場合、タイムスタンプ情報をファイル名に追加して、ファイルがいつ作成されたのかを示すことができます。

ターゲットファイルのファイル名を指定する場合は、LinuxSTRFTIME関数は、マッピングタスクでファイル名にタイムスタンプ情報を含めるために使用される形式です。タイムスタンプは、組織のタイムゾーンに基づいています。

詳細モードのマッピングでは、ファイル名にタイムスタンプ情報を追加することはできません。

次の表に、マッピングまたはマッピングタスクで使用される一般的なSTRFTIME関数の形式を示します。

特殊文字	説明
%d	2桁の10進数で表される日（01～31）。
%m	2桁の10進数で表される月（01～12）。
%y	2桁の10進数で表される、世紀を含まない年（00～99）。
%Y	世紀を含む年（2015など）。
%T	フラットファイルにのみ適用されます。24時間表記の時刻（%H:%:M:%Sに相当）。
%H	24時間表記の時間（00～24）。
%l	12時間表記の時間（01～12）。
%M	10進数で表される分（00～59）。
%S	10進数で表される秒（00～60）。
%p	AMまたはPM。

注: 複雑なファイルの場合、%Tの代わりに同等の%H_%M_%Sを使用できます。

ターゲットのパーティション化

Microsoft Azure Data Lake Storage Gen2にデータを書き込みを行う際の実行時のマッピングパフォーマンスを最適化するようにパーティショニングを設定できます。ターゲットのパーティション化は、マッピングでのみ設定できます。

パーティションタイプによって、エージェントがパーティションポイントのパーティション間でデータを分散する方法を制御します。パーティション化を設定すると、Secure Agentは、パーティションとして定義したスレッドの数に基づいてターゲットデータの行を配布します。

例えば、ソースに3つのパーティションがある場合、Secure AgentはMicrosoft Azure Data Lake Storage Gen2ターゲットのパーティションごとに次の形式で個別のファイルを書き込みを行います。

<target>
<target_1>
<target_2>

ターゲットのパーティション化については、次のルールとガイドラインを考慮してください。

•複数のパーティションを持つディレクトリから読み取りを行ってターゲットのパーティション化を設定すると、ソース内のパーティションの数に基づいてパーティションファイルがターゲットに書き込まれます。ただし、ソース内のパーティションを変更してマッピングタスクを再度実行する場合は、ターゲット内のデータの不整合を避けるために、必ず既存のパーティションファイルを確認してください。
•複数のパーティションを含むデータを読み取り、ターゲットのパーティション化を設定する場合は、ターゲットファイル名が一意であり、以前のマッピング実行の_partファイル名と一致していないことを確認してください。ターゲットファイル名が一意ではない場合、ターゲットファイルに整合性のないデータが含まれる可能性があります。
•追加書き込みストラテジはフラットファイルに対してのみ使用できます。
•Parquetファイルから読み取りを行い、Microsoft Azure Data Lake Storage Gen2ターゲットのパーティションに書き込みを行う場合、各パーティションの推奨ヒープサイズは0.5 GBです。