ファイル取り込みとレプリケーション > ファイル取り込みとレプリケーション > ファイル取り込みとレプリケーションタスクの設定
  

ファイル取り込みとレプリケーションタスクの設定

データ統合で、ファイル取り込みとレプリケーションタスクウィザードを使用して、ファイル取り込みとレプリケーションタスクを設定できます。
ウィザードページで、次の設定タスクを完了します。
  1. 1タスク名、プロジェクトの場所、ランタイム環境などの基本的なタスク情報を定義します。
  2. 2ソースを設定します。
  3. 3ターゲットを設定します。
  4. 4必要に応じて、1つまたは複数のファイル処理アクションを設定します。
  5. 5必要に応じて、ランタイムオプションを設定する。
タスクウィザードを使用するときは、［保存］をクリックして、いつでも作業を保存できます。ウィザードが完了したら［完了］をクリックし、タスクを保存してウィザードを閉じます。
開始する前に、要件が満たされていることを確認してください。詳細については、「始める前に」を参照してください。

始める前に

ファイル取り込みとレプリケーションタスクを作成する前に、次の条件を満たしていることを確認します。

基本的なタスク情報の定義

ファイル取り込みとレプリケーションタスクの定義を開始するには、最初に、タスク名やプロジェクトまたはプロジェクトフォルダの場所、ランタイム環境など、タスクに関するいくつかの基本情報を入力する必要があります。
    1以下のいずれかの方法でタスクウィザードを開始します。
    ファイル取り込みとレプリケーションタスクウィザードの［定義］ページが表示されます。
    2以下のプロパティを設定します。
    プロパティ
    説明
    タスク名
    ファイル取り込みとレプリケーションタスクの名前。ファイル取り込みとレプリケーションタスクの名前は組織内で一意である必要があります。タスク名には、英数字、スペース、およびアンダースコアを含めることができます。名前の先頭には英字またはアンダースコアを指定する必要があります。
    タスク名では大文字と小文字が区別されません。
    場所
    タスクが存在するプロジェクトまたはフォルダ。
    説明
    タスクの説明（省略可能）。最大長は1024文字です。
    ランタイム環境
    タスクを実行するランタイム環境。
    ファイル取り込みとレプリケーションタスクは、Secure AgentまたはCloud Hosted Agentで実行できます。サーバーレスランタイム環境では実行できません。
    3［次へ］をクリックします。
    ファイル取り込みとレプリケーションタスクを編集するには、［参照］ページで、タスクに移動します。タスクが含まれている行で、［アクション］メニューから［編集］を選択します。

ソースの設定

ソースを設定するには、ソースタイプを選択して、ファイルの転送元のソース接続を選択してから、ソースのオプションを設定します。
    1［ソース］ページでソースタイプを選択します。
    2ソース接続タイプとソース接続を選択します。
    ファイル取り込みとレプリケーションタスクは、次のソース接続タイプを使用します。
    3選択したソース接続に基づいて、ソースのオプションを入力します。
    タスクウィザードの［ソース］タブに表示されるオプションは、選択するソース接続のタイプによって異なります。
    4［次へ］をクリックします。
    ［ターゲット］タブが表示されます。

Advanced FTP V2ソースのプロパティ

Advanced FTP V2ソースを使用してファイル取り込みとレプリケーションタスクを定義する場合は、タスクウィザードの［ソース］タブにソースのオプションを入力する必要があります。オプションは、タスクに選択したファイルのピックアップ方法によって異なります。
注: ファイル取り込みとレプリケーションREST APIのjobリソースを使用して、ファイル名のパターン、フォルダ、およびテーブルのパラメータを上書きし、ソース用に独自の変数を定義できます。詳細については、ジョブを参照してください。
以下の表に、ソースのオプションを示します。
オプション
説明
ファイルピックアップ
ファイル取り込みとレプリケーションタスクは、次のファイルピックアップ方法をサポートします。
  • - パターン別。ファイル取り込みとレプリケーションタスクは、パターン別にファイルをピックアップします。
  • - ファイルリスト別。ファイル取り込みとレプリケーションタスクは、ファイルリストに基づいてファイルをピックアップします。
ソースディレクトリ
ファイルの転送元のディレクトリです。デフォルト値は接続で指定されたソースディレクトリです。
ソースファイルシステムへの相対パスを入力できます。相対パスを入力するには、パスをピリオドで開始し、その後にスラッシュを続けます（./）。パスは、接続で指定されたソースディレクトリの相対パスです。
パラメータの追加
式を作成し、ソースディレクトリパラメータとして追加します。詳細については、ソースとターゲットのパラメータを参照してください。
ファイルパターン
これは［ファイルピックアップ］が［パターン別］の場合に適用されます。転送するファイルの選択に使用するファイル名パターンです。パターンは、正規表現またはワイルドカード文字を使用したパターンにすることができます。
次のワイルドカード文字を使用できます。
  • - アスタリスク（*）は任意の数の文字を表します。
  • - クエスチョンマーク（?）単一の文字を表す。
例えば、次のような正規表現を指定できます。
([a-zA-Z0-9\s_\\.\-\(\):])+(.doc|.docx|.pdf)$
ファイル日付
これは［ファイルピックアップ］が［パターン別］の場合に適用されます。転送するファイルをフィルタする日付と時刻の式。
次のいずれかのオプションを選択します。
  • - 以上。指定の日時以降に変更されたファイルをフィルタします。
    • 日付を指定するには、カレンダーをクリックします。時刻を指定するには、時計をクリックします。
  • - 以下。指定した日付および時刻以前に変更されたファイルをフィルタします。
  • - 等しい。指定した日付および時刻に変更されたファイルをフィルタします。
    • カレンダーをクリックして日付を選択し、時計をクリックして時刻を選択します。
  • - 本日までの日数。指定した現在の日付（本日）までの日数以内に変更されたファイルをフィルタします。日数を入力します。現在の日付の計算は00:00から開始されます。
例えば、ファイル取り込みとレプリケーションタスクを毎週実行するようにスケジュールし、前の週に変更されたファイルをフィルタする場合、［本日までの日数］を7に設定します。タスクは、7日前から実行日までの日付のファイルをすべてピックアップします。
時間帯
これは［ファイルピックアップ］が［パターン別］の場合に適用されます。［ファイル日付］オプションを選択した場合、ファイルが配置されている場所のタイムゾーンを入力します。
ファイルサイズ
これは［ファイルピックアップ］が［パターン別］の場合に適用されます。ファイルサイズに基づいて転送するファイルをフィルタします。ファイルサイズを入力し、ファイルサイズの単位とフィルタオプションを選択します。
以下のフィルタオプションのいずれか1つを選択してください。
  • - 以上。指定したサイズよりも大きいか等しいファイルをフィルタします。
  • - 以下。指定したサイズ以下のファイルをフィルタします。
  • - 等しい。指定したサイズのファイルをフィルタします
ファイルのリストを含むファイルパス
これは［ファイルピックアップ］が［ファイルリスト別］の場合に適用されます。取得するファイルのリストを含むファイルパスを指定するには、このオプションを選択します。ファイルには、ファイル名のカンマ区切りリストを必ず入力してください。
ファイルリスト
これは［ファイルピックアップ］が［ファイルリスト別］の場合に適用されます。取得するファイルのリストを指定し、ファイル名のコンマ区切りリストを入力するには、このオプションを選択します。
重複したファイルをスキップ
重複したファイルをスキップするかどうかを示します。このオプションを選択した場合、ファイル取り込みとレプリケーションタスクは、別のファイルと同じ名前とサイズのファイルは転送しません。ファイル取り込みとレプリケーションタスクはジョブログでこれらのファイルを重複とマークします。このオプションを選択しない場合、タスクは、名前と作成日が重複しているファイルも含め、すべてのファイルを転送します。
重複したファイルのスキップに関する情報の転送の詳細については、重複するファイルをスキップを参照してください。
ファイルの安定性を確認
ファイル取り込みとレプリケーションタスクがファイルをピックアップする前に、ファイルが安定していることを確認するかどうかを示します。タスクは、現在の実行で検出した不安定なファイルをスキップします。
安定性確認間隔
これは、［ファイルの安定性を確認］オプションを有効にした場合に適用されます。ファイル取り込みとレプリケーションタスクがファイルの安定性を確認するために待機する時間（秒単位）。
例えば、安定性確認時間が15秒の場合、ファイル取り込みとレプリケーションタスクは、定義されたファイルパターンに一致するソースフォルダ内のすべてのファイルを検出し、15秒間待機してから、安定したファイルのみを処理します。
この間隔は、10秒から300秒の範囲です。デフォルトは10秒です。
バッチサイズ
ファイル取り込みとレプリケーションタスクが1回のバッチで転送できるファイル数。
デフォルトは5です。バッチで転送できるファイルの最大数は20です。
バッチの最大値は、中間ステージング領域を通じてファイルが転送されるかどうかに基づいて異なります。
転送モード
ファイル転送モード。次のいずれかのモードを選択します。
  • - ［自動］.ファイル取り込みとレプリケーションにより、転送モードが決定されます。
  • - ASCII。
  • - バイナリ。
    • 注: ネットワークの中断によりバイナリファイル転送が中断された場合、ファイルイベントには中断ステータスが表示されます。ファイル取り込みとレプリケーションジョブを再度実行して、中断されたファイルの転送を再開します。
ファイルのピックアップ後
ファイル転送後のソースファイルの処理を決定します。
次のいずれかのオプションを選択します。
  • - ソースディレクトリ内でファイルを保持します。
  • - ソースディレクトリからファイルを削除します。
  • - ソースディレクトリ内でファイルの名前を変更します。ファイルの名前を変更する場合は、ファイル取り込みとレプリケーションタスクがファイル名に追加するファイル名の接尾辞を指定する必要があります。次のいずれかの変数を入力します。
    • - ($date)
    • - ($time)
    • - ($timestamp)
    • - ($runId)
  • - 別の場所にファイルをアーカイブします。ファイルシステムからの絶対パスまたは相対パスでアーカイブディレクトリを指定する必要があります。

Advanced FTPS V2ソースのプロパティ

Advanced FTPS V2ソースを使用してファイル取り込みとレプリケーションタスクを定義する場合は、タスクウィザードの［ソース］タブにソースのプロパティを入力する必要があります。オプションは、タスクに選択したファイルのピックアップ方法によって異なります。
注: ファイル取り込みとレプリケーションREST APIのjobリソースを使用して、ファイル名のパターン、フォルダ、およびテーブルのパラメータを上書きし、ソース用に独自の変数を定義できます。詳細については、ジョブを参照してください。
以下の表に、ソースのオプションを示します。
オプション
説明
ファイルピックアップ
ファイル取り込みとレプリケーションタスクは、次のファイルピックアップ方法をサポートします。
  • - パターン別。ファイル取り込みとレプリケーションタスクは、パターン別にファイルをピックアップします。
  • - ファイルリスト別。ファイル取り込みとレプリケーションタスクは、ファイルリストに基づいてファイルをピックアップします。
ソースディレクトリ
ファイルの転送元のディレクトリです。デフォルト値は接続で指定されたソースディレクトリです。
ソースファイルシステムへの相対パスを入力できます。相対パスを入力するには、パスをピリオドで開始し、その後にスラッシュを続けます（./）。パスは、接続で指定されたソースディレクトリの相対パスです。
パラメータの追加
式を作成し、ソースディレクトリパラメータとして追加します。詳細については、ソースとターゲットのパラメータを参照してください。
サブフォルダのファイルを含む
これは［ファイルピックアップ］が［パターン別］の場合に適用されます。定義したソースディレクトリにあるすべてのサブフォルダからファイルを転送します。
ファイルパターン
これは［ファイルピックアップ］が［パターン別］の場合に適用されます。転送するファイルの選択に使用するファイル名パターンです。パターンは、正規表現またはワイルドカード文字を使用したパターンにすることができます。
次のワイルドカード文字を使用できます。
  • - アスタリスク（*）は任意の数の文字を表します。
  • - クエスチョンマーク（?）単一の文字を表す。
例えば、次のような正規表現を指定できます。
([a-zA-Z0-9\s_\\.\-\(\):])+(.doc|.docx|.pdf)$
ファイル日付
これは［ファイルピックアップ］が［パターン別］の場合に適用されます。転送するファイルをフィルタする日付と時刻の式。
次のいずれかのオプションを選択します。
  • - 以上。指定の日時以降に変更されたファイルをフィルタします。
    • 日付を指定するには、カレンダーをクリックします。時刻を指定するには、時計をクリックします。
  • - 以下。指定した日付および時刻以前に変更されたファイルをフィルタします。
  • - 等しい。指定した日付および時刻に変更されたファイルをフィルタします。
    • カレンダーをクリックして日付を選択し、時計をクリックして時刻を選択します。
  • - 本日までの日数。指定した現在の日付（本日）までの日数以内に変更されたファイルをフィルタします。日数を入力します。現在の日付の計算は00:00から開始されます。
例えば、ファイル取り込みとレプリケーションタスクを毎週実行するようにスケジュールし、前の週に変更されたファイルをフィルタする場合、［本日までの日数］を7に設定します。タスクは、7日前から実行日までの日付のファイルをすべてピックアップします。
時間帯
これは［ファイルピックアップ］が［パターン別］の場合に適用されます。［ファイル日付］オプションを選択した場合、ファイルが配置されている場所のタイムゾーンを入力します。
ファイルサイズ
これは［ファイルピックアップ］が［パターン別］の場合に適用されます。ファイルサイズに基づいて転送するファイルをフィルタします。ファイルサイズを入力し、ファイルサイズの単位とフィルタオプションを選択します。
以下のフィルタオプションのいずれか1つを選択してください。
  • - 以上。指定したサイズよりも大きいか等しいファイルをフィルタします。
  • - 以下。指定したサイズ以下のファイルをフィルタします。
  • - 等しい。指定したサイズのファイルをフィルタします
ファイルのリストを含むファイルパス
これは［ファイルピックアップ］が［ファイルリスト別］の場合に適用されます。これは［ファイルピックアップ］が［ファイルリスト別］の場合に適用されます。取得するファイルのリストを含むファイルパスを指定するには、このオプションを選択します。ファイルには、ファイル名のカンマ区切りリストを必ず入力してください。
ファイルリスト
これは［ファイルピックアップ］が［ファイルリスト別］の場合に適用されます。これは［ファイルピックアップ］が［ファイルリスト別］の場合に適用されます。取得するファイルのリストを指定し、ファイル名のコンマ区切りリストを入力するには、このオプションを選択します。
重複したファイルをスキップ
重複したファイルをスキップするかどうかを示します。このオプションを選択した場合、ファイル取り込みとレプリケーションタスクは、別のファイルと同じ名前とサイズのファイルは転送しません。ファイル取り込みとレプリケーションタスクはジョブログでこれらのファイルを重複とマークします。このオプションを選択しない場合、タスクは、名前と作成日が重複しているファイルも含め、すべてのファイルを転送します。
ファイルの安定性を確認
ファイル取り込みとレプリケーションタスクがファイルをピックアップする前に、ファイルが安定していることを確認するかどうかを示します。タスクは、現在の実行で検出した不安定なファイルをスキップします。
安定性確認間隔
これは、［ファイルの安定性を確認］オプションを有効にした場合に適用されます。ファイル取り込みとレプリケーションタスクがファイルの安定性を確認するために待機する時間（秒単位）。
例えば、安定性確認時間が15秒の場合、ファイル取り込みとレプリケーションタスクは、定義されたファイルパターンに一致するソースフォルダ内のすべてのファイルを検出し、15秒間待機してから、安定したファイルのみを処理します。
この間隔は、10秒から300秒の範囲です。デフォルトは10秒です。
バッチサイズ
ファイル取り込みとレプリケーションタスクが1回のバッチで転送できるファイル数。
デフォルトは5です。バッチで転送できるファイルの最大数は20です。
転送モード
ファイル転送モード。次のいずれかのモードを選択します。
  • - 自動。ファイル取り込みとレプリケーションにより、転送モードが決定されます。
  • - ASCII。
  • - バイナリ。
    • 注: ネットワークの中断によりバイナリファイル転送が中断された場合、ファイルイベントには中断ステータスが表示されます。ファイル取り込みとレプリケーションジョブを再度実行して、中断されたファイルの転送を再開します。
ファイルのピックアップ後
ファイル転送後のソースファイルの処理を決定します。
次のいずれかのオプションを選択します。
  • - ソースディレクトリ内でファイルを保持します。
  • - ソースディレクトリからファイルを削除します。
  • - ソースディレクトリ内でファイルの名前を変更します。ファイルの名前を変更する場合は、ファイル取り込みとレプリケーションタスクがファイル名に追加するファイル名の接尾辞を指定する必要があります。次のいずれかの変数を入力します。
    • - ($date)
    • - ($time)
    • - ($timestamp)
    • - ($runId)
  • - 別の場所にファイルをアーカイブします。ファイルシステムからの絶対パスまたは相対パスでアーカイブディレクトリを指定する必要があります。

Advanced SFTP V2ソースのプロパティ

Advanced SFTP V2ソースを使用してファイル取り込みとレプリケーションタスクを定義する場合は、タスクウィザードの［ソース］タブにソースのオプションを入力する必要があります。オプションは、タスクに選択したファイルのピックアップ方法によって異なります。
注: ファイル取り込みとレプリケーションREST APIのjobリソースを使用して、ファイル名のパターン、フォルダ、およびテーブルのパラメータを上書きし、ソース用に独自の変数を定義できます。詳細については、ジョブを参照してください。
以下の表に、ソースのオプションを示します。
オプション
説明
ファイルピックアップ
ファイル取り込みとレプリケーションタスクは、次のファイルピックアップ方法をサポートします。
  • - パターン別。ファイル取り込みとレプリケーションタスクは、パターン別にファイルをピックアップします。
  • - ファイルリスト別。ファイル取り込みとレプリケーションタスクは、ファイルリストに基づいてファイルをピックアップします。
ソースディレクトリ
ファイルの転送元のディレクトリです。デフォルト値は接続で指定されたソースディレクトリです。
ソースファイルシステムへの相対パスを入力できます。相対パスを入力するには、パスをピリオドで開始し、その後にスラッシュを続けます（./）。パスは、接続で指定されたソースディレクトリの相対パスです。
パラメータの追加
式を作成し、ソースディレクトリとして追加します。詳細については、「ソースとターゲットのパラメータ」を参照してください。
サブフォルダのファイルを含む
これは［ファイルピックアップ］が［パターン別］の場合に適用されます。定義したソースディレクトリにあるすべてのサブフォルダからファイルを転送します。
ファイルパターン
これは［ファイルピックアップ］が［パターン別］の場合に適用されます。転送するファイルの選択に使用するファイル名パターンです。パターンは、正規表現またはワイルドカード文字を使用したパターンにすることができます。
次のワイルドカード文字を使用できます。
  • - アスタリスク（*）は任意の数の文字を表します。
  • - クエスチョンマーク（?）単一の文字を表す。
例えば、次のような正規表現を指定できます。
([a-zA-Z0-9\s_\\.\-\(\):])+(.doc|.docx|.pdf)$
ファイル日付
これは［ファイルピックアップ］が［パターン別］の場合に適用されます。転送するファイルをフィルタする日付と時刻の式。
次のいずれかのオプションを選択します。
  • - 以上。指定の日時以降に変更されたファイルをフィルタします。
    • 日付を指定するには、カレンダーをクリックします。時刻を指定するには、時計をクリックします。
  • - 以下。指定した日付および時刻以前に変更されたファイルをフィルタします。
  • - 等しい。指定した日付および時刻に変更されたファイルをフィルタします。
    • カレンダーをクリックして日付を選択し、時計をクリックして時刻を選択します。
  • - 本日までの日数。指定した現在の日付（本日）までの日数以内に変更されたファイルをフィルタします。日数を入力します。現在の日付の計算は00:00から開始されます。
例えば、ファイル取り込みとレプリケーションタスクを毎週実行するようにスケジュールし、前の週に変更されたファイルをフィルタする場合、［本日までの日数］を7に設定します。タスクは、7日前から実行日までの日付のファイルをすべてピックアップします。
時間帯
これは［ファイルピックアップ］が［パターン別］の場合に適用されます。［ファイル日付］オプションを選択した場合、ファイルが配置されている場所のタイムゾーンを入力します。
ファイルサイズ
これは［ファイルピックアップ］が［パターン別］の場合に適用されます。ファイルサイズに基づいて転送するファイルをフィルタします。ファイルサイズを入力し、ファイルサイズの単位とフィルタオプションを選択します。
以下のフィルタオプションのいずれか1つを選択してください。
  • - 以上。指定したサイズよりも大きいか等しいファイルをフィルタします。
  • - 以下。指定したサイズ以下のファイルをフィルタします。
  • - 等しい。指定したサイズのファイルをフィルタします
ファイルのリストを含むファイルパス
これは［ファイルピックアップ］が［ファイルリスト別］の場合に適用されます。取得するファイルのリストを含むファイルパスを指定するには、このオプションを選択します。ファイルには、ファイル名のカンマ区切りリストを必ず入力してください。
ファイルリスト
これは［ファイルピックアップ］が［ファイルリスト別］の場合に適用されます。取得するファイルのリストを指定し、ファイル名のコンマ区切りリストを入力するには、このオプションを選択します。
重複したファイルをスキップ
重複したファイルをスキップするかどうかを示します。このオプションを選択した場合、ファイル取り込みとレプリケーションタスクは、別のファイルと同じ名前とサイズのファイルは転送しません。ファイル取り込みとレプリケーションタスクはジョブログでこれらのファイルを重複とマークします。このオプションを選択しない場合、タスクは、名前と作成日が重複しているファイルも含め、すべてのファイルを転送します。
ファイルの安定性を確認
ファイル取り込みとレプリケーションタスクがファイルをピックアップする前に、ファイルが安定していることを確認するかどうかを示します。タスクは、現在の実行で検出した不安定なファイルをスキップします。
安定性確認間隔
これは、［ファイルの安定性を確認］オプションを有効にした場合に適用されます。ファイル取り込みとレプリケーションタスクがファイルの安定性を確認するために待機する時間（秒単位）。
例えば、安定性確認時間が15秒の場合、ファイル取り込みとレプリケーションタスクは、定義されたファイルパターンに一致するソースフォルダ内のすべてのファイルを検出し、15秒間待機してから、安定したファイルのみを処理します。
この間隔は、10秒から300秒の範囲です。デフォルトは10秒です。
バッチサイズ
ファイル取り込みとレプリケーションタスクが1回のバッチで転送できるファイル数。
デフォルトは5です。バッチで転送できるファイルの最大数は20です。
ファイルのピックアップ後
ファイル転送後のソースファイルの処理を決定します。
次のいずれかのオプションを選択します。
  • - ソースディレクトリ内でファイルを保持します。
  • - ソースディレクトリからファイルを削除します。
  • - ソースディレクトリ内でファイルの名前を変更します。ファイルの名前を変更する場合は、ファイル取り込みとレプリケーションタスクがファイル名に追加するファイル名の接尾辞を指定する必要があります。次のいずれかの変数を入力します。
    • - ($date)
    • - ($time)
    • - ($timestamp)
    • - ($runId)
  • - 別の場所にファイルをアーカイブします。ファイルシステムからの絶対パスまたは相対パスでアーカイブディレクトリを指定する必要があります。

Amazon S3 V2ソースのプロパティ

Amazon S3 V2ソースを使用してファイル取り込みとレプリケーションタスクを定義する場合は、タスクウィザードの［ソース］タブにソースのオプションを入力する必要があります。オプションは、タスクに選択したファイルのピックアップ方法によって異なります。
注: ファイル取り込みとレプリケーションREST APIのjobリソースを使用して、ファイル名のパターン、フォルダ、およびテーブルのパラメータを上書きし、ソース用に独自の変数を定義できます。詳細については、ジョブを参照してください。
以下の表に、ソースのオプションを示します。
オプション
説明
ファイルピックアップ
ファイル取り込みとレプリケーションタスクは、次のファイルピックアップ方法をサポートします。
  • - パターン別。ファイル取り込みとレプリケーションタスクは、パターン別にファイルをピックアップします。
  • - ファイルリスト別。ファイル取り込みとレプリケーションタスクは、ファイルリストに基づいてファイルをピックアップします。
ソースディレクトリ
バケット名など、ファイルの転送元であるAmazon S3フォルダパスです。デフォルト値は接続プロパティで指定されたフォルダパスです。
ソースファイルシステムへの相対パスを入力できます。相対パスを入力するには、パスをピリオドで開始し、その後にスラッシュを続けます（./）。パスは、接続で指定されたソースディレクトリの相対パスです。
注: バケットおよび特定のフォルダにアクセスするための十分な特権があることを確認します。
パラメータの追加
式を作成し、フォルダパスパラメータとして追加します。詳細については、ソースとターゲットのパラメータを参照してください。
サブフォルダのファイルを含む
これは［ファイルピックアップ］が［パターン別］の場合に適用されます。定義したソースディレクトリにあるすべてのサブフォルダからファイルを転送します。
ファイルパターン
これは［ファイルピックアップ］が［パターン別］の場合に適用されます。転送するファイルの選択に使用するファイル名パターンです。
パターンで、以下のワイルドカード文字を使用できます。
  • - アスタリスク（*）は任意の数の文字を表します。
  • - クエスチョンマーク（?）単一の文字を表す。
ファイル日付
これは［ファイルピックアップ］が［パターン別］の場合に適用されます。転送するファイルをフィルタする日付と時刻の式。
次のいずれかのオプションを選択します。
  • - 以上。指定の日時以降に変更されたファイルをフィルタします。
    • 日付を指定するには、カレンダーをクリックします。時刻を指定するには、時計をクリックします。
  • - 以下。指定した日付および時刻以前に変更されたファイルをフィルタします。
  • - 等しい。指定した日付および時刻に変更されたファイルをフィルタします。
    • カレンダーをクリックして日付を選択し、時計をクリックして時刻を選択します。
  • - 本日までの日数。指定した現在の日付までの日数以内に変更されたファイルをフィルタします。日数を入力します。現在の日付の計算は00:00から開始されます。
例えば、ファイル取り込みとレプリケーションタスクを毎週実行するようにスケジュールし、前の週に変更されたファイルをフィルタする場合、［本日までの日数］を7に設定します。タスクは、7日前から実行日までの日付のファイルをすべてピックアップします。
時間帯
これは［ファイルピックアップ］が［パターン別］の場合に適用されます。［ファイル日付］オプションを選択した場合、ファイルが配置されている場所のタイムゾーンを入力します。
ファイルサイズ
これは［ファイルピックアップ］が［パターン別］の場合に適用されます。ファイルサイズに基づいて転送するファイルをフィルタします。ファイルサイズを入力し、ファイルサイズの単位とフィルタオプションを選択します。
以下のフィルタオプションのいずれか1つを選択してください。
  • - 以上。指定したサイズよりも大きいか等しいファイルをフィルタします。
  • - 以下。指定したサイズ以下のファイルをフィルタします。
  • - 等しい。指定したサイズのファイルをフィルタします
ファイルのリストを含むファイルパス
これは［ファイルピックアップ］が［ファイルリスト別］の場合に適用されます。このオプションを選択して、ピックアップするファイルのリストを含むパスを指定し、ファイルパスを入力します。ファイルには、ファイル名のカンマ区切りリストを必ず入力してください。
ファイルリスト
これは［ファイルピックアップ］が［ファイルリスト別］の場合に適用されます。取得するファイルのリストを指定し、ファイル名のコンマ区切りリストを入力するには、このオプションを選択します。
重複したファイルをスキップ
重複したファイルをスキップするかどうかを示します。このオプションを選択した場合、ファイル取り込みとレプリケーションタスクは、別のファイルと同じ名前とサイズのファイルは転送しません。ファイル取り込みとレプリケーションタスクはジョブログでこれらのファイルを重複とマークします。このオプションを選択しない場合、タスクは、名前と作成日が重複しているファイルも含め、すべてのファイルを転送します。
ファイルの安定性を確認
ファイル取り込みとレプリケーションタスクがファイルをピックアップする前に、ファイルが安定していることを確認するかどうかを示します。タスクは、現在の実行で検出した不安定なファイルをスキップします。
安定性確認間隔
これは、［ファイルの安定性を確認］オプションを有効にした場合に適用されます。ファイル取り込みとレプリケーションタスクがファイルの安定性を確認するために待機する時間（秒単位）。
例えば、安定性確認時間が15秒の場合、ファイル取り込みとレプリケーションタスクは、定義されたファイルパターンに一致するソースフォルダ内のすべてのファイルを検出し、15秒間待機してから、安定したファイルのみを処理します。
この間隔は、10秒から300秒の範囲です。デフォルトは10秒です。
バッチサイズ
ファイル取り込みとレプリケーションタスクが1回のバッチで転送できるファイル数。
デフォルトは5です。
バッチの最大値は、中間ステージングサーバーを通じてファイルが転送されるかどうかによって異なります。
ファイル取り込みとレプリケーションタスクでは、ファイルが次のソースエンドポイントからターゲットエンドポイントに転送される場合には、中間ステージングサーバーを介してファイルを転送しません。
  • - Amazon S3からAmazon Redshift（中間ステージングを使用しないファイル転送を選択した場合）
  • - Amazon S3からSnowflake
バッチサイズを定義する場合は、以下のガイドラインに従います。
  • - 中間ステージングサーバーなしでファイルをソースからターゲットに転送する場合、1回のバッチで転送できるファイルの最大数は8000です。
  • - ファイルが中間ステージングサーバーを通過する場合は、1回のバッチで転送できるファイルの最大数は20です。
  • - 任意のソースからSnowflakeターゲットにファイルを転送する場合、1回のバッチで転送できるファイルの最大数は1000です。
ファイル暗号化タイプ
ファイル転送中に使用するAmazon S3ファイル暗号化のタイプです。
次のいずれかのオプションを選択します。
  • - なし。ファイルはファイル転送中に暗号化されません。デフォルトは［なし］です。
  • - S3サーバーサイド暗号化。Amazon S3は、AWSによって管理された暗号化キーを使用することでファイルを暗号化します。
  • - S3クライアントサイド暗号化。無制限のポリシーがAgentJVMに対して実装されていること、および接続のマスタ対称キーが設定されていることを確認します。
S3高速化転送
S3バケットでAmazon S3の転送高速化を使用するかどうかを選択します。
転送高速化を使用するには、高速化転送をバケットで有効にする必要があります。選択可能なオプションは、以下のとおりです。
  • - 無効。Amazon S3の転送高速化を使用しないでください。
  • - 高速。Amazon S3の転送高速化を使用します。
  • - デュアルスタック高速。デュアルスタックエンドポイントでAmazon S3の転送高速化を使用します。
最小ダウンロードパートサイズ
複数の独立したパートセットとしてサイズの大きなファイルをダウンロードする場合の最小ダウンロードパートサイズ。
マルチパートダウンロードしきい値
複数のパートにオブジェクトを同時にアップロードするタイミングを決定するために使用されるメガバイト単位のマルチパートダウンロードの最小しきい値。
ファイルのピックアップ後
タスクがソースファイルをターゲットにストリーミングした後、ソースファイルをどのように処理するかを決定します。
次のいずれかのオプションを選択します。
  • - ソースディレクトリ内でファイルを保持します。
  • - ソースディレクトリからファイルを削除します。
  • - ソースディレクトリ内でファイルの名前を変更します。ファイルの名前を変更する場合は、ファイル取り込みとレプリケーションタスクがファイル名に追加するファイル名の接尾辞を指定する必要があります。次のいずれかの変数を入力します。
    • - ($date)
    • - ($time)
    • - ($timestamp)
    • - ($runId)
  • - 別の場所にファイルをアーカイブします。ソースファイルシステムへの絶対パスまたは相対パスでアーカイブディレクトリを指定する必要があります。

Cloud統合ハブのソースプロパティ

Cloud統合ハブのソースを使用してファイル取り込みとレプリケーションタスクを定義する場合は、タスクウィザードの［ソース］タブにソースのオプションを入力する必要があります。
以下の表に、ソースのオプションを示します。
オプション
説明
ファイルピックアップ
ファイル取り込みとレプリケーションタスクは、ファイルリストに基づいてファイルをピックアップします。ファイルリストは、ファイル名のカンマ区切りリストで構成されます。ファイルリストオプションは、Cloud統合ハブのサブスクリプションから自動的に取り込まれ、これを編集することはできません。
バッチサイズ
ファイル取り込みとレプリケーションタスクが1回のバッチで転送できるファイル数。
デフォルトは5です。バッチで転送できるファイルの最大数は20です。
ファイルのピックアップ後
ファイル転送後のソースファイルの処理を決定します。
次のいずれかのオプションを選択します。
  • - ソースディレクトリ内でファイルを保持します。
  • - ソースディレクトリからファイルを削除します。
  • - ソースディレクトリ内でファイルの名前を変更します。ファイルの名前を変更する場合は、ファイル取り込みとレプリケーションタスクがファイル名に追加するファイル名の接尾辞を指定する必要があります。次のいずれかの変数を入力します。
    • - ($date)
    • - ($time)
    • - ($timestamp)
    • - ($runId)
  • - 別の場所にファイルをアーカイブします。ソースファイルシステム上の絶対パスまたは相対パスを入力する必要があります。

ファイルリスナソースのプロパティ

ファイル取り込みとレプリケーションタスクを実行するためにファイルリスナを使用する場合は、ファイルリスナをソースタイプとして設定します。
ファイルリスナをソースとして設定するには、データ統合サービスでファイルリスナを作成する必要があります。ファイルリスナの作成については、データ統合ヘルプの「コンポーネント」を参照してください。
注: ファイル取り込みとレプリケーションユーザーインタフェースから、ファイルリスナをソースとして使用したファイル取り込みとレプリケーションタスクは実行できません。ファイルリスナが開始しているときは、ファイルリスナをソースとして使用したファイル取り込みとレプリケーションタスクは自動的に実行されます。
以下の表に、ソースのオプションを示します。
オプション
説明
ファイルパターン
転送するファイルの選択に使用するファイル名パターンです。パターンは、正規表現またはワイルドカード文字を使用したパターンにすることができます。
次のワイルドカード文字を使用できます。
  • - アスタリスク（*）は任意の数の文字を表します。
  • - クエスチョンマーク（?）単一の文字を表す。
例えば、次のような正規表現を指定できます。
([a-zA-Z0-9\s_\\.\-\(\):])+(.doc|.docx|.pdf)$
ファイル日付
転送するファイルをフィルタする日付と時刻の式。
次のいずれかのオプションを選択します。
  • - 以上。指定の日時以降に変更されたファイルをフィルタします。
    • 日付を指定するには、カレンダーをクリックします。時刻を指定するには、時計をクリックします。
  • - 以下。指定した日付および時刻以前に変更されたファイルをフィルタします。
  • - 等しい。指定した日付および時刻に変更されたファイルをフィルタします。
    • カレンダーをクリックして日付を選択し、時計をクリックして時刻を選択します。
  • - 本日までの日数。指定した現在の日付（本日）までの日数以内に変更されたファイルをフィルタします。日数を入力します。現在の日付の計算は00:00から開始されます。
例えば、ファイル取り込みとレプリケーションタスクを毎週実行するようにスケジュールし、前の週に変更されたファイルをフィルタする場合、［本日までの日数］を7に設定します。タスクは、7日前から実行日までの日付のファイルをすべてピックアップします。
時間帯
［ファイル日付］オプションを選択した場合、ファイルが配置されている場所のタイムゾーンを入力します。
ファイルサイズ
ファイルサイズに基づいて転送するファイルをフィルタします。ファイルサイズを入力し、ファイルサイズの単位とフィルタオプションを選択します。
以下のフィルタオプションのいずれか1つを選択してください。
  • - 以上。指定したサイズよりも大きいか等しいファイルをフィルタします。
  • - 以下。指定したサイズ以下のファイルをフィルタします。
  • - 等しい。指定したサイズのファイルをフィルタします
重複したファイルをスキップ
重複したファイルをスキップするかどうかを示します。このオプションを選択した場合、ファイル取り込みとレプリケーションタスクは、別のファイルと同じ名前とサイズのファイルは転送しません。ファイル取り込みとレプリケーションタスクはジョブログでこれらのファイルを重複とマークします。このオプションを選択しない場合、タスクは、名前と作成日が重複しているファイルも含め、すべてのファイルを転送します。
バッチサイズ
ファイル取り込みとレプリケーションタスクが1回のバッチで転送できるファイル数。
デフォルトは5です。
ファイルのピックアップ後
ファイル転送後のソースファイルの処理を決定します。
以下のフィルタオプションのいずれか1つを選択してください。
  • - ソースディレクトリ内でファイルを保持します。
  • - ソースディレクトリからファイルを削除します。
  • - ソースディレクトリ内でファイルの名前を変更します。ファイルの名前を変更する場合は、ファイル取り込みとレプリケーションタスクがファイル名に追加するファイル名の接尾辞を指定する必要があります。次のいずれかの変数を入力します。
    • - ($date)
    • - ($time)
    • - ($timestamp)
    • - ($runId)
  • - 別の場所にファイルをアーカイブします。アーカイブディレクトリを指定する必要があります。

Google Cloud Storage V2ソースのプロパティ

Google Cloud Storage V2ソースを使用してファイル取り込みとレプリケーションタスクを定義する場合は、タスクウィザードの［ソース］タブにソースのオプションを入力する必要があります。
注: ファイル取り込みとレプリケーションREST APIのjobリソースを使用して、ファイル名のパターン、フォルダ、およびテーブルのパラメータを上書きし、ソース用に独自の変数を定義できます。詳細については、ジョブを参照してください。
以下の表に、ソースのオプションを示します。
オプション
説明
ファイルピックアップ
ファイル取り込みとレプリケーションタスクは、次のファイルピックアップ方法をサポートします。
  • - パターン別。ファイル取り込みとレプリケーションタスクは、パターン別にファイルをピックアップします。
  • - ファイルリスト別。ファイル取り込みとレプリケーションタスクは、ファイルリストに基づいてファイルをピックアップします。
ソースディレクトリ
ファイルの転送元のディレクトリです。
ソースファイルシステムへの相対パスを入力できます。相対パスを入力するには、パスをピリオドで開始し、その後にスラッシュを続けます（./）。パスは、接続で指定されたソースディレクトリの相対パスです。
パラメータの追加
式を作成し、ソースディレクトリパラメータとして追加します。詳細については、ソースとターゲットのパラメータを参照してください。
サブフォルダのファイルを含む
定義したソースディレクトリにあるすべてのサブフォルダからファイルを転送します。
ファイルパターン
転送するファイルの選択に使用するファイル名パターンです。パターンは、正規表現またはワイルドカード文字を使用したパターンにすることができます。
次のワイルドカード文字を使用できます。
  • - アスタリスク（*）は任意の数の文字を表します。
  • - クエスチョンマーク（?）単一の文字を表す。
例えば、次のような正規表現を指定できます。
([a-zA-Z0-9\s_\\.\-\(\):])+(.doc|.docx|.pdf)$
ファイル日付
転送するファイルをフィルタする日付と時刻の式。
次のいずれかのオプションを選択します。
  • - 以上。指定の日時以降に変更されたファイルをフィルタします。
    • 日付を指定するには、カレンダーをクリックします。時刻を指定するには、時計をクリックします。
  • - 以下。指定した日付および時刻以前に変更されたファイルをフィルタします。
  • - 等しい。指定した日付および時刻に変更されたファイルをフィルタします。
    • カレンダーをクリックして日付を選択し、時計をクリックして時刻を選択します。
  • - 本日までの日数。指定した現在の日付（本日）までの日数以内に変更されたファイルをフィルタします。日数を入力します。現在の日付の計算は00:00から開始されます。
例えば、ファイル取り込みとレプリケーションタスクを毎週実行するようにスケジュールし、前の週に変更されたファイルをフィルタする場合、［本日までの日数］を7に設定します。タスクは、7日前から実行日までの日付のファイルをすべてピックアップします。
時間帯
［ファイル日付］オプションを選択した場合、ファイルが配置されている場所のタイムゾーンを入力します。
ファイルサイズ
ファイルサイズに基づいて転送するファイルをフィルタします。ファイルサイズを入力し、ファイルサイズの単位とフィルタオプションを選択します。
以下のフィルタオプションのいずれか1つを選択してください。
  • - 以上。指定したサイズよりも大きいか等しいファイルをフィルタします。
  • - 以下。指定したサイズ以下のファイルをフィルタします。
  • - 等しい。指定したサイズのファイルをフィルタします
重複したファイルをスキップ
重複したファイルをスキップするかどうかを示します。このオプションを選択した場合、ファイル取り込みとレプリケーションタスクは、別のファイルと同じ名前とサイズのファイルは転送しません。ファイル取り込みとレプリケーションタスクはジョブログでこれらのファイルを重複とマークします。このオプションを選択しない場合、タスクは、名前と作成日が重複しているファイルも含め、すべてのファイルを転送します。
ファイルの安定性を確認
ファイル取り込みとレプリケーションタスクがファイルをピックアップする前に、ファイルが安定していることを確認するかどうかを示します。タスクは、現在の実行で検出した不安定なファイルをスキップします。
安定性確認間隔
これは、［ファイルの安定性を確認］オプションを有効にした場合に適用されます。ファイル取り込みとレプリケーションタスクがファイルの安定性を確認するために待機する時間（秒単位）。
例えば、安定性確認時間が15秒の場合、ファイル取り込みとレプリケーションタスクは、定義されたファイルパターンに一致するソースフォルダ内のすべてのファイルを検出し、15秒間待機してから、安定したファイルのみを処理します。
この間隔は、10秒から300秒の範囲です。デフォルトは10秒です。
バッチサイズ
ファイル取り込みとレプリケーションタスクが1回のバッチで転送できるファイル数。
デフォルトは5です。
最大バッチサイズは、次の条件に基づいて異なります。
  • - 中間ステージングサーバーなしでファイルをソースからターゲットに転送する場合、1回のバッチで転送できるファイルの最大数は8000です。
  • - ファイルが中間ステージングサーバーを通過する場合は、1回のバッチで転送できるファイルの最大数は20です。
  • - 任意のソースからSnowflakeターゲットにファイルを転送する場合、1回のバッチで転送できるファイルの最大数は1000です。
注: Google Cloud StorageからGoogle BigQueryにファイルを転送する場合、タスクは中間ステージングサーバーなしでファイルを転送します。
ファイルのピックアップ後
ファイル転送後にソースファイルに対して実行するアクションを決定します。選択可能なオプションは、以下のとおりです。
  • - ソースディレクトリ内でファイルを保持します。
  • - ソースディレクトリからファイルを削除します。
  • - ソースディレクトリ内でファイルの名前を変更します。ファイルの名前を変更する場合は、ファイル取り込みとレプリケーションタスクがファイル名に追加するファイル名の接尾辞を指定する必要があります。次のいずれかの変数を入力します。
    • - ($date)
    • - ($time)
    • - ($timestamp)
    • - ($runId)
  • - 別の場所にファイルをアーカイブします。ファイルシステムからの絶対パスまたは相対パスでアーカイブディレクトリを指定する必要があります。アーカイブディレクトリは、ソースファイルシステムのサブフォルダ構造を維持するのに役立ちます。
    • 例えば、/root/archiveがアーカイブディレクトリ、/root/testがソースディレクトリ、sub1とsub2がソースディレクトリ内のディレクトリで、サブフォルダのファイルを含めるように選択した場合、アーカイブディレクトリのフォルダ構造は/root/archive/sub1、/root/archive/sub2になります。

Hadoop Files V2ソースのプロパティ

Hadoop Files V2ソースを使用してファイル取り込みとレプリケーションタスクを定義する場合は、タスクウィザードの［ソース］タブにソースのオプションを入力する必要があります。オプションは、タスクに選択したファイルのピックアップ方法によって異なります。
注: ファイル取り込みとレプリケーションREST APIのjobリソースを使用して、ファイル名のパターン、フォルダ、およびテーブルのパラメータを上書きし、ソース用に独自の変数を定義できます。詳細については、ジョブを参照してください。
以下の表に、ソースのオプションを示します。
オプション
説明
ファイルピックアップ
ファイル取り込みとレプリケーションタスクは、次のファイルピックアップ方法をサポートします。
  • - パターン別。ファイル取り込みとレプリケーションタスクは、パターン別にファイルをピックアップします。
  • - ファイルリスト別。ファイル取り込みとレプリケーションタスクは、ファイルリストに基づいてファイルをピックアップします。
ソースディレクトリ
ファイルの転送元のディレクトリです。
パラメータの追加
式を作成し、ソースディレクトリパラメータとして追加します。詳細については、ソースとターゲットのパラメータを参照してください。
サブフォルダのファイルを含む
これは［ファイルピックアップ］が［パターン別］の場合に適用されます。定義したソースディレクトリにあるすべてのサブフォルダからファイルを転送します。
ファイルパターン
これは［ファイルピックアップ］が［パターン別］の場合に適用されます。転送するファイルの選択に使用するファイル名パターンです。選択したファイルパターンに基づき、ファイル名のパターンを入力します。
次のいずれかのファイルパターンを選択します。
  • - ワイルドカード。以下のワイルドカード文字フィルタを使用します。
    • - アスタリスク（*）は任意の数の文字を表します。
    • - 疑問符（?）は単一の文字を表す。
  • - 正規表現。正規表現を使用してパターンタイプを照合します。次の例について考えてみます。
    • - ^(?!.*(?:out|baz|foo)).*$ all except
      • 名前にout、fooおよびbazを含むファイルを除くすべてのファイルを示します。
    • - ([a-zA-Z0-9\s_\\.\-\(\):])+(.doc|.docx|.pdf)$
      • 拡張子がdoc、docxまたはpdfのすべてのファイルを示します。
    • - ^(?!out).*\.txt$
      • 名前にout.txtを含むファイルを除くすべてのファイルを示します。
ファイル日付
これは［ファイルピックアップ］が［パターン別］の場合に適用されます。転送するファイルをフィルタする日付と時刻の式。
次のいずれかのオプションを選択します。
  • - 以上。指定の日時以降に変更されたファイルをフィルタします。
    • 日付を指定するには、カレンダーをクリックします。時刻を指定するには、時計をクリックします。
  • - 以下。指定した日付および時刻以前に変更されたファイルをフィルタします。
  • - 等しい。指定した日付および時刻に変更されたファイルをフィルタします。
    • カレンダーをクリックして日付を選択し、時計をクリックして時刻を選択します。
  • - 本日までの日数。指定した現在の日付（本日）までの日数以内に変更されたファイルをフィルタします。日数を入力します。現在の日付の計算は00:00から開始されます。
例えば、ファイル取り込みとレプリケーションタスクを毎週実行するようにスケジュールし、前の週に変更されたファイルをフィルタする場合、［本日までの日数］を7に設定します。タスクは、7日前から実行日までの日付のファイルをすべてピックアップします。
時間帯
これは［ファイルピックアップ］が［パターン別］の場合に適用されます。［ファイル日付］オプションを選択した場合、ファイルが配置されている場所のタイムゾーンを入力します。
ファイルサイズ
これは［ファイルピックアップ］が［パターン別］の場合に適用されます。ファイルサイズに基づいて転送するファイルをフィルタします。ファイルサイズを入力し、ファイルサイズの単位とフィルタオプションを選択します。
以下のフィルタオプションのいずれか1つを選択してください。
  • - 以上。指定したサイズよりも大きいか等しいファイルをフィルタします。
  • - 以下。指定したサイズ以下のファイルをフィルタします。
  • - 等しい。指定したサイズのファイルをフィルタします
ファイルのリストを含むファイルパス
これは［ファイルピックアップ］が［ファイルリスト別］の場合に適用されます。取得するファイルのリストを含むファイルパスを指定するには、このオプションを選択します。ファイルには、ファイル名のカンマ区切りリストを必ず入力してください。
ファイルリスト
これは［ファイルピックアップ］が［ファイルリスト別］の場合に適用されます。取得するファイルのリストを指定し、ファイル名のコンマ区切りリストを入力するには、このオプションを選択します。
重複したファイルをスキップ
重複したファイルをスキップするかどうかを示します。このオプションを選択した場合、ファイル取り込みとレプリケーションタスクは、別のファイルと同じ名前とサイズのファイルは転送しません。ファイル取り込みとレプリケーションタスクはジョブログでこれらのファイルを重複とマークします。このオプションを選択しない場合、タスクは、名前と作成日が重複しているファイルも含め、すべてのファイルを転送します。
ファイルの安定性を確認
ファイル取り込みとレプリケーションタスクがファイルをピックアップする前に、ファイルが安定していることを確認するかどうかを示します。タスクは、現在の実行で検出した不安定なファイルをスキップします。
安定性確認間隔
これは、［ファイルの安定性を確認］オプションを有効にした場合に適用されます。ファイル取り込みとレプリケーションタスクがファイルの安定性を確認するために待機する時間（秒単位）。
例えば、安定性確認時間が15秒の場合、ファイル取り込みとレプリケーションタスクは、定義されたファイルパターンに一致するソースフォルダ内のすべてのファイルを検出し、15秒間待機してから、安定したファイルのみを処理します。
この間隔は、10秒から300秒の範囲です。デフォルトは10秒です。
バッチサイズ
ファイル取り込みとレプリケーションタスクが1回のバッチで転送できるファイル数。
デフォルトは5です。

ローカルフォルダソースのプロパティ

ローカルフォルダソースを使用してファイル取り込みとレプリケーションタスクを定義する場合は、タスクウィザードの［ソース］タブにソースのプロパティを入力する必要があります。オプションは、タスクに選択したファイルのピックアップ方法によって異なります。
注: ファイル取り込みとレプリケーションREST APIのjobリソースを使用して、ファイル名のパターン、フォルダ、およびテーブルのパラメータを上書きし、ソース用に独自の変数を定義できます。詳細については、ジョブを参照してください。
以下の表に、ソースのオプションを示します。
オプション
説明
ファイルピックアップ
ファイル取り込みとレプリケーションタスクは、次のファイルピックアップ方法をサポートします。
  • - パターン別。ファイル取り込みとレプリケーションタスクは、パターン別にファイルをピックアップします。
  • - ファイルリスト別。ファイル取り込みとレプリケーションタスクは、ファイルリストに基づいてファイルをピックアップします。
ソースディレクトリ
ファイルの転送元のディレクトリです。Secure Agentがこのディレクトリにアクセスできる必要があります。
ソースフォルダパスの前後のスラッシュの使用は、コネクタ間で異なります。スラッシュを誤って使用すると、接続に失敗します。詳細については、Knowledge Base記事を参照してください。625869
注: ファイルリスナは、NFSおよびCIFSをサポートするネットワーク共有上のファイルおよびディレクトリにアクセスできます。
パラメータの追加
式を作成し、ソースディレクトリパラメータとして追加します。詳細については、ソースとターゲットのパラメータを参照してください。
サブフォルダのファイルを含む
これは［ファイルピックアップ］が［パターン別］の場合に適用されます。定義したソースディレクトリにあるすべてのサブフォルダからファイルを転送します。
ファイルパターン
これは［ファイルピックアップ］が［パターン別］の場合に適用されます。転送するファイルの選択に使用するファイル名パターンです。選択したファイルパターンに基づき、ファイル名のパターンを入力します。
次のファイルパターンを使用できます。
  • - ワイルドカード。以下のワイルドカード文字フィルタを使用します。
    • - アスタリスク（*）はどんな数の文字とも一致します。
    • - クエスチョンマーク（?）1つの文字と一致します。
  • - 正規表現。正規表現を使用してパターンタイプを照合します。次の例について考えてみます。
    • - ^(?!.*(?:out|baz|foo)).*$ all except
      • 名前にout、fooおよびbazを含むファイルを除くすべてのファイルを示します。
    • - ([a-zA-Z0-9\s_\\.\-\(\):])+(.doc|.docx|.pdf)$
      • 拡張子がdoc、docxまたはpdfのすべてのファイルを示します。
    • - ^(?!out).*\.txt$
      • 名前にout.txtを含むファイルを除くすべてのファイルを示します。
ファイル日付
これは［ファイルピックアップ］が［パターン別］の場合に適用されます。転送するファイルをフィルタする日付と時刻の式。
次のいずれかのオプションを選択します。
  • - 以上。指定の日時以降に変更されたファイルをフィルタします。
    • 日付を指定するには、カレンダーをクリックします。時刻を指定するには、時計をクリックします。
  • - 以下。指定した日付および時刻以前に変更されたファイルをフィルタします。
  • - 等しい。指定した日付および時刻に変更されたファイルをフィルタします。
    • カレンダーをクリックして日付を選択し、時計をクリックして時刻を選択します。
  • - 本日までの日数。指定した現在の日付（本日）までの日数以内に変更されたファイルをフィルタします。日数を入力します。現在の日付の計算は00:00から開始されます。
例えば、ファイル取り込みとレプリケーションタスクを毎週実行するようにスケジュールし、前の週に変更されたファイルをフィルタする場合、［本日までの日数］を7に設定します。タスクは、7日前から実行日までの日付のファイルをすべてピックアップします。
タイムゾーン
これは［ファイルピックアップ］が［パターン別］の場合に適用されます。［ファイル日付］オプションを選択した場合、ファイルが配置されている場所のタイムゾーンを入力します。
ファイルサイズ
これは［ファイルピックアップ］が［パターン別］の場合に適用されます。ファイルサイズに基づいて転送するファイルをフィルタします。ファイルサイズを入力し、ファイルサイズの単位とフィルタオプションを選択します。
次のいずれかのオプションを選択します。
  • - 以上。指定したサイズよりも大きいか等しいファイルをフィルタします。
  • - 以下。指定したサイズ以下のファイルをフィルタします。
  • - 等しい。指定したサイズのファイルをフィルタします
ファイルのリストを含むファイルパス
これは［ファイルピックアップ］が［ファイルリスト別］の場合に適用されます。取得するファイルのリストを含むファイルパスを指定するには、このオプションを選択します。ファイルには、ファイル名のカンマ区切りリストを必ず入力してください。
ファイルリスト
これは［ファイルピックアップ］が［ファイルリスト別］の場合に適用されます。取得するファイルのリストを指定し、ファイル名のコンマ区切りリストを入力するには、このオプションを選択します。
重複したファイルをスキップ
重複したファイルをスキップするかどうかを示します。このオプションを選択した場合、ファイル取り込みとレプリケーションタスクは、別のファイルと同じ名前とサイズのファイルは転送しません。ファイル取り込みとレプリケーションタスクはジョブログでこれらのファイルを重複とマークします。このオプションを選択しない場合、タスクは、名前と作成日が重複しているファイルも含め、すべてのファイルを転送します。
ファイルの安定性を確認
ファイル取り込みとレプリケーションタスクがファイルをピックアップする前に、ファイルが安定していることを確認するかどうかを示します。タスクは、現在の実行で検出した不安定なファイルをスキップします。
安定性確認間隔
これは、［ファイルの安定性を確認］オプションを有効にした場合に適用されます。ファイル取り込みとレプリケーションタスクがファイルの安定性を確認するために待機する時間（秒単位）。
例えば、安定性確認時間が15秒の場合、ファイル取り込みとレプリケーションタスクは、定義されたファイルパターンに一致するソースフォルダ内のすべてのファイルを検出し、15秒間待機してから、安定したファイルのみを処理します。
この間隔は、10秒から300秒の範囲です。デフォルトは10秒です。
バッチサイズ
ファイル取り込みとレプリケーションタスクが1回のバッチで転送するファイルの最大数。
デフォルトは5です。バッチで転送できるファイルの最大数は20です。
最大バッチサイズは、次の条件に基づいて異なります。
  • - タスクが中間ステージングなしでソースからターゲットにファイルを転送する場合、タスクが1回のバッチで転送できるファイルの最大数は8000です。
  • - タスクが中間ステージングを使用してソースからターゲットにファイルを転送する場合、タスクが1回のバッチで転送できる最大ファイル数は20です。
  • - 任意のソースからSnowflakeターゲットにファイルを転送する場合、タスクが1回のバッチで転送できるファイルの最大数は1000です。
バッチサイズを定義する場合は、以下のガイドラインに従います。
  • - 次のシナリオでは、タスクは中間ステージングなしでファイルを転送します。
    • - 中間ステージングなしでファイルをアップロードするようにAmazon Redshift Connectorが構成されている場合のAmazon S3からAmazon Redshiftへのファイル転送
    • - Google Cloud StorageからGoogle BigQueryへのファイル転送
    • - Azure BlobからMicrosoft Azure Data Warehouseへのファイル転送
    • - Amazon S3およびAzure BlobからSnowflakeへのファイル転送
  • - コマンドラインを使用してファイルを転送する場合、タスクは中間ステージングを使用してファイルを転送します。
ファイルのピックアップ後
ファイル転送後のソースファイルの処理を決定します。
選択可能なオプションは、以下のとおりです。
  • - ソースディレクトリ内でファイルを保持します。
  • - ソースディレクトリからファイルを削除します。
  • - ソースディレクトリ内でファイルの名前を変更します。ファイルの名前を変更する場合は、ファイル取り込みとレプリケーションタスクがファイル名に追加するファイル名の接尾辞を指定する必要があります。次のいずれかの変数を入力します。
    • - ($date)
    • - ($time)
    • - ($timestamp)
    • - ($runId)
  • - 別の場所にファイルをアーカイブします。アーカイブディレクトリを指定する必要があります。

Microsoft Azure Blob Storage V3ソースのプロパティ

Microsoft Azure Blob Storageソースを使用してファイル取り込みとレプリケーションタスクを定義する場合は、タスクウィザードの［ソース］タブにソースのオプションを入力する必要があります。オプションは、タスクに選択したファイルのピックアップ方法によって異なります。
注: ファイル取り込みとレプリケーションREST APIのjobリソースを使用して、ファイル名のパターン、フォルダ、およびテーブルのパラメータを上書きし、ソース用に独自の変数を定義できます。詳細については、ジョブを参照してください。
以下の表に、ソースのオプションを示します。
詳細ソースプロパティ
説明
ファイルピックアップ
ファイル取り込みとレプリケーションタスクは、次のファイルピックアップ方法をサポートします。
  • - パターン別。ファイル取り込みとレプリケーションタスクは、パターン別にファイルをピックアップします。
  • - ファイルリスト別。ファイル取り込みとレプリケーションタスクは、ファイルリストに基づいてファイルをピックアップします。
ソースディレクトリ
ファイルの転送元となるMicrosoft Azure Blob Storageディレクトリ。パスにはコンテナ名を含めます。デフォルト値は接続で指定されたコンテナパスです。
ソースファイルシステムへの相対パスを入力できます。相対パスを入力するには、パスをピリオドで開始し、その後にスラッシュを続けます（./）。パスは、接続で指定されたソースディレクトリの相対パスです。
パラメータの追加
式を作成し、フォルダパスパラメータとして追加します。詳細については、ソースとターゲットのパラメータを参照してください。
サブフォルダのファイルを含む
これは［ファイルピックアップ］が［パターン別］の場合に適用されます。フォルダパスにあるサブフォルダからファイルを転送します。
ファイルパターン
これは［ファイルピックアップ］が［パターン別］の場合に適用されます。転送するファイルの選択に使用するファイル名パターンです。正規表現またはワイルドカード文字を使用できます。
次のワイルドカード文字を使用できます。
  • - アスタリスク（*）は任意の数の文字を表します。
  • - クエスチョンマーク（?）単一の文字を表す。
例えば、次のような正規表現を指定できます。
([a-zA-Z0-9\s_\\.\-\(\):])+(.doc|.docx|.pdf)$
ファイル日付
これは［ファイルピックアップ］が［パターン別］の場合に適用されます。転送するファイルをフィルタする日付と時刻の式。
次のいずれかのオプションを選択します。
  • - 以上。指定の日時以降に変更されたファイルをフィルタします。
    • 日付を指定するには、カレンダーをクリックします。時刻を指定するには、時計をクリックします。
  • - 以下。指定した日付および時刻以前に変更されたファイルをフィルタします。
  • - 等しい。指定した日付および時刻に変更されたファイルをフィルタします。
    • カレンダーをクリックして日付を選択し、時計をクリックして時刻を選択します。
  • - 本日までの日数。指定した現在の日付（本日）までの日数以内に変更されたファイルをフィルタします。日数を入力します。現在の日付の計算は00:00から開始されます。
例えば、ファイル取り込みとレプリケーションタスクを毎週実行するようにスケジュールし、前の週に変更されたファイルをフィルタする場合、［本日までの日数］を7に設定します。タスクは、7日前から実行日までの日付のファイルをすべてピックアップします。
時間帯
これは［ファイルピックアップ］が［パターン別］の場合に適用されます。［ファイル日付］オプションを選択した場合、ファイルが配置されている場所のタイムゾーンを入力します。
ファイルサイズ
これは［ファイルピックアップ］が［パターン別］の場合に適用されます。ファイルサイズに基づいて転送するファイルをフィルタします。ファイルサイズを入力し、ファイルサイズの単位とフィルタオプションを選択します。
次のいずれかのオプションを選択します。
  • - 以上。指定したサイズよりも大きいか等しいファイルをフィルタします。
  • - 以下。指定したサイズ以下のファイルをフィルタします。
  • - 等しい。指定したサイズのファイルをフィルタします
ファイルのリストを含むファイルパス
これは［ファイルピックアップ］が［ファイルリスト別］の場合に適用されます。取得するファイルのリストを含むファイルパスを指定するには、このオプションを選択します。ファイルには、ファイル名のカンマ区切りリストを必ず入力してください。
ファイルリスト
これは［ファイルピックアップ］が［ファイルリスト別］の場合に適用されます。取得するファイルのリストを指定し、ファイル名のコンマ区切りリストを入力するには、このオプションを選択します。
重複したファイルをスキップ
重複したファイルは転送しないでください。ファイル取り込みとレプリケーションタスクによって、同じ名前とサイズのファイルが転送済みである場合、タスクはファイルを再度転送せずにジョブログでファイルを重複とマークします。このオプションが選択されていない場合、タスクはすべてのファイルを転送します。
ファイルの安定性を確認
ファイル取り込みとレプリケーションタスクがファイルをピックアップする前に、ファイルが安定していることを確認するかどうかを示します。タスクは、現在の実行で検出した不安定なファイルをスキップします。
安定性確認間隔
これは、［ファイルの安定性を確認］オプションを有効にした場合に適用されます。ファイル取り込みとレプリケーションタスクがファイルの安定性を確認するために待機する時間（秒単位）。
例えば、安定性確認時間が15秒の場合、ファイル取り込みとレプリケーションタスクは、定義されたファイルパターンに一致するソースフォルダ内のすべてのファイルを検出し、15秒間待機してから、安定したファイルのみを処理します。
この間隔は、10秒から300秒の範囲です。デフォルトは10秒です。
バッチサイズ
ファイル取り込みとレプリケーションタスクが1回のバッチで転送できるファイル数。
デフォルトは5です。
最大バッチサイズは、次の条件に基づいて異なります。
  • - 中間ステージングサーバーなしでファイルをソースからターゲットに転送する場合、タスクが1回のバッチで転送できるファイルの最大数は8000です。
  • - ファイルが中間ステージングサーバーを通過する場合は、タスクが1回のバッチで転送できるファイルの最大数は20です。
  • - 任意のソースからSnowflakeターゲットにファイルを転送する場合、タスクが1回のバッチで転送できるファイルの最大数は1000です。
注: Azure Blob StorageからAzure SQL Data WarehouseおよびSnowflakeにファイルを転送する場合、タスクは中間ステージングなしでファイルを転送します。

Microsoft Azure Data Lake Storage Gen2ソースのプロパティ

ファイル取り込みとレプリケーションタスクでは、Microsoft Azure Data Lake Storage Gen2ソースからMicrosoft Azure Data Lake Storage Gen2ターゲット、またはファイル取り込みとレプリケーションタスクがサポートするターゲットへファイルが転送されるようにMicrosoft Azure Data Lake Storage Gen2ソースのプロパティを設定できます。ソースのオプションは、タスクに選択したファイルのピックアップ方法によって異なります。
タスクがMicrosoft Azure Data Lake Storage Gen2ソースからDatabricksターゲットにファイルを転送する場合、ファイルはParquet形式でDatabricksターゲットと同じスキーマを持つ必要があります。
注: ファイル取り込みとレプリケーションREST APIのjobリソースを使用して、ファイル名のパターン、フォルダ、およびテーブルのパラメータを上書きし、ソース用に独自の変数を定義できます。詳細については、ジョブを参照してください。
以下の表に、ソースのオプションを示します。
詳細ソースプロパティ
説明
ファイルピックアップ
ファイル取り込みとレプリケーションタスクは、次のファイルピックアップ方法をサポートします。
  • - パターン別。ファイル取り込みとレプリケーションタスクは、パターン別にファイルをピックアップします。
  • - ファイルリスト別。ファイル取り込みとレプリケーションタスクは、ファイルリストに基づいてファイルをピックアップします。
ソースディレクトリ
ファイルの転送元となるMicrosoft Azure Data Lake Storage Gen2フォルダパス。デフォルト値は接続で指定されたコンテナパスです。ソースディレクトリはスラッシュ（/）で始まる必要があります。
ソースファイルシステムへの相対パスを入力できます。相対パスを入力するには、パスをピリオドで開始し、その後にスラッシュを続けます（./）。パスは、接続で指定されたソースディレクトリの相対パスです。
パラメータの追加
式を作成し、ソースディレクトリパラメータとして追加します。詳細については、ソースとターゲットのパラメータを参照してください。
サブフォルダのファイルを含む
これは［ファイルピックアップ］が［パターン別］の場合に適用されます。フォルダパスにあるサブフォルダからファイルを転送します。
ファイルパターン
これは［ファイルピックアップ］が［パターン別］の場合に適用されます。転送するファイルの選択に使用するファイル名パターンです。正規表現またはワイルドカード文字を使用できます。
次のワイルドカード文字を使用できます。
  • - アスタリスク（*）は任意の数の文字を表します。
  • - クエスチョンマーク（?）単一の文字を表す。
例えば、次のような正規表現を指定できます。
([a-zA-Z0-9\s_\\.\-\(\):])+(.doc|.docx|.pdf)$
ファイル日付
これは［ファイルピックアップ］が［パターン別］の場合に適用されます。転送するファイルをフィルタする日付と時刻の式。
次のいずれかのオプションを選択します。
  • - 以上。指定の日時以降に変更されたファイルをフィルタします。
    • 日付を指定するには、カレンダーをクリックします。時刻を指定するには、時計をクリックします。
  • - 以下。指定した日付および時刻以前に変更されたファイルをフィルタします。
  • - 等しい。指定した日付および時刻に変更されたファイルをフィルタします。
    • カレンダーをクリックして日付を選択し、時計をクリックして時刻を選択します。
  • - 本日までの日数。指定した現在の日付（本日）までの日数以内に変更されたファイルをフィルタします。日数を入力します。現在の日付の計算は00:00から開始されます。
例えば、ファイル取り込みとレプリケーションタスクを毎週実行するようにスケジュールし、前の週に変更されたファイルをフィルタする場合、［本日までの日数］を7に設定します。タスクは、7日前から実行日までの日付のファイルをすべてピックアップします。
時間帯
これは［ファイルピックアップ］が［パターン別］の場合に適用されます。［ファイル日付］オプションを選択した場合、ファイルが配置されている場所のタイムゾーンを入力します。
ファイルサイズ
これは［ファイルピックアップ］が［パターン別］の場合に適用されます。ファイルサイズに基づいて転送するファイルをフィルタします。ファイルサイズを入力し、ファイルサイズの単位とフィルタオプションを選択します。
以下のフィルタオプションのいずれか1つを選択してください。
  • - 以上。指定したサイズよりも大きいか等しいファイルをフィルタします。
  • - 以下。指定したサイズ以下のファイルをフィルタします。
  • - 等しい。指定したサイズのファイルをフィルタします
ファイルのリストを含むファイルパス
これは［ファイルピックアップ］が［ファイルリスト別］の場合に適用されます。取得するファイルのリストを含むファイルパスを指定するには、このオプションを選択します。ファイルには、ファイル名のカンマ区切りリストを必ず入力してください。
ファイルリスト
これは［ファイルピックアップ］が［ファイルリスト別］の場合に適用されます。取得するファイルのリストを指定し、ファイル名のコンマ区切りリストを入力するには、このオプションを選択します。
重複するファイルをスキップ
重複したファイルは転送しないでください。ファイル取り込みとレプリケーションタスクによって、同じ名前とサイズのファイルが転送済みである場合、タスクはファイルを再度転送せずにジョブログでファイルを重複とマークします。このオプションが選択されていない場合、タスクはすべてのファイルを転送します。
ファイルの安定性を確認
ファイル取り込みとレプリケーションタスクがファイルをピックアップする前に、ファイルが安定していることを確認するかどうかを示します。タスクは、現在の実行で検出した不安定なファイルをスキップします。
安定性確認間隔
これは、［ファイルの安定性を確認］オプションを有効にした場合に適用されます。ファイル取り込みとレプリケーションタスクがファイルの安定性を確認するために待機する時間（秒単位）。
例えば、安定性確認時間が15秒の場合、ファイル取り込みとレプリケーションタスクは、定義されたファイルパターンに一致するソースフォルダ内のすべてのファイルを検出し、15秒間待機してから、安定したファイルのみを処理します。
この間隔は、10秒から300秒の範囲です。デフォルトは10秒です。
バッチサイズ
ファイル取り込みとレプリケーションタスクが1回のバッチで転送できるファイル数。
デフォルトは5です。
最大バッチサイズは、次の条件に基づいて異なります。
  • - タスクが中間ステージングなしでソースからターゲットにファイルを転送する場合、タスクが1回のバッチで転送できるファイルの最大数は8000です。
  • - タスクが中間ステージングを使用してソースからターゲットにファイルを転送する場合、タスクが1回のバッチで転送できる最大ファイル数は20です。
  • - タスクが任意のソースからSnowflakeまたはDatabricksターゲットにファイルを転送する場合、タスクがバッチで転送できるファイルの最大数は1000です。
注: Microsoft Azure Data Lake Storage Gen2からAzure SQL Data Warehouseにファイルを転送する場合、タスクは中間ステージングなしでファイルを転送します。
ブロックサイズ(バイト)
大きなファイルを指定された小さなブロックサイズに分割します。サイズの大きいファイルを読み取る場合は、ファイルを小さな部分に分割し、同時接続を設定して、データを並列処理するために必要な数のスレッドを生成してください。
デフォルトは、8388608バイト（8MB）です。
ファイルのピックアップ後
ファイル転送後のソースファイルの処理を決定します。選択可能なオプションは、以下のとおりです。
  • - ソースディレクトリ内でファイルを保持します。
  • - ソースディレクトリからファイルを削除します。
  • - ソースディレクトリ内でファイルの名前を変更します。ファイルの名前を変更する場合は、ファイル取り込みとレプリケーションタスクがファイル名に追加するファイル名の接尾辞を指定する必要があります。次のいずれかの変数を入力します。
    • - ($date)
    • - ($time)
    • - ($timestamp)
    • - ($runId)
  • - 別の場所にファイルをアーカイブします。ファイルシステムからの絶対パスまたは相対パスでアーカイブディレクトリを指定する必要があります。アーカイブディレクトリ内のソースファイルシステムからのサブフォルダ構造を維持できます。
    • 例えば、/root/archiveがアーカイブディレクトリ、/root/testがソースディレクトリ、sub1とsub2がソースディレクトリ内のディレクトリで、サブフォルダからファイルを含めるように選択した場合、アーカイブディレクトリのフォルダ構造は /root/archive/sub1、/root/archive/sub2になります。

Microsoft Azure Data Lake Store Gen1 V3ソースのプロパティ

Microsoft Azure Data Lake Store Gen1 V3ソースを使用してファイル取り込みタスクを定義する場合は、タスクウィザードの［ソース］タブにソースのオプションを入力する必要があります。オプションは、タスクに選択したファイルのピックアップ方法によって異なります。
注: ファイル取り込みとレプリケーションREST APIのjobリソースを使用して、ファイル名のパターン、フォルダ、およびテーブルのパラメータを上書きし、ソース用に独自の変数を定義できます。詳細については、ジョブを参照してください。
以下の表に、ソースのオプションを示します。
詳細ソースプロパティ
説明
ファイルピックアップ
ファイル取り込みとレプリケーションタスクは、次のファイルピックアップ方法をサポートします。
  • - パターン別。ファイル取り込みとレプリケーションタスクは、パターン別にファイルをピックアップします。
  • - ファイルリスト別。ファイル取り込みとレプリケーションタスクは、ファイルリストに基づいてファイルをピックアップします。
ソースディレクトリ
ファイルの転送元となるMicrosoft Azure Data Lake Storeディレクトリ。デフォルト値は接続で指定されたコンテナパスです。
ソースファイルシステムへの相対パスを入力できます。相対パスを入力するには、パスをピリオドで開始し、その後にスラッシュを続けます（./）。パスは、接続で指定されたソースディレクトリの相対パスです。
パラメータの追加
式を作成し、ソースディレクトリパラメータとして追加します。詳細については、ソースとターゲットのパラメータを参照してください。
サブフォルダのファイルを含む
これは［ファイルピックアップ］が［パターン別］の場合に適用されます。フォルダパスにあるサブフォルダからファイルを転送します。
ファイルパターン
これは［ファイルピックアップ］が［パターン別］の場合に適用されます。転送するファイルの選択に使用するファイル名パターンです。パターンは、正規表現またはワイルドカード文字を使用したパターンにすることができます。
次のワイルドカード文字を使用できます。
  • - アスタリスク（*）は任意の数の文字を表します。
  • - クエスチョンマーク（?）単一の文字を表す。
例えば、次のような正規表現を指定できます。
([a-zA-Z0-9\s_\\.\-\(\):])+(.doc|.docx|.pdf)$
ファイル日付
これは［ファイルピックアップ］が［パターン別］の場合に適用されます。転送するファイルをフィルタする日付と時刻の式。
次のいずれかのオプションを選択します。
  • - 以上。指定の日時以降に変更されたファイルをフィルタします。
    • 日付を指定するには、カレンダーをクリックします。時刻を指定するには、時計をクリックします。
  • - 以下。指定した日付および時刻以前に変更されたファイルをフィルタします。
  • - 等しい。指定した日付および時刻に変更されたファイルをフィルタします。
    • カレンダーをクリックして日付を選択し、時計をクリックして時刻を選択します。
  • - 本日までの日数。指定した現在の日付（本日）までの日数以内に変更されたファイルをフィルタします。日数を入力します。現在の日付の計算は00:00から開始されます。
例えば、ファイル取り込みとレプリケーションタスクを毎週実行するようにスケジュールし、前の週に変更されたファイルをフィルタする場合、［本日までの日数］を7に設定します。タスクは、7日前から実行日までの日付のファイルをすべてピックアップします。
時間帯
これは［ファイルピックアップ］が［パターン別］の場合に適用されます。［ファイル日付］オプションを選択した場合、ファイルが配置されている場所のタイムゾーンを入力します。
ファイルサイズ
これは［ファイルピックアップ］が［パターン別］の場合に適用されます。ファイルサイズに基づいて転送するファイルをフィルタします。ファイルサイズを入力し、ファイルサイズの単位とフィルタオプションを選択します。
以下のフィルタオプションのいずれか1つを選択してください。
  • - 以上。指定したサイズよりも大きいか等しいファイルをフィルタします。
  • - 以下。指定したサイズ以下のファイルをフィルタします。
  • - 等しい。指定したサイズのファイルをフィルタします
ファイルのリストを含むファイルパス
これは［ファイルピックアップ］が［ファイルリスト別］の場合に適用されます。取得するファイルのリストを含むファイルパスを指定するには、このオプションを選択します。ファイルには、ファイル名のカンマ区切りリストを必ず入力してください。
ファイルリスト
これは［ファイルピックアップ］が［ファイルリスト別］の場合に適用されます。取得するファイルのリストを指定し、ファイル名のコンマ区切りリストを入力するには、このオプションを選択します。
重複したファイルをスキップ
重複したファイルをスキップするかどうかを示します。このオプションを選択した場合、ファイル取り込みとレプリケーションタスクは、別のファイルと同じ名前とサイズのファイルは転送しません。ファイル取り込みとレプリケーションタスクはジョブログでこれらのファイルを重複とマークします。このオプションを選択しない場合、タスクは、名前と作成日が重複しているファイルも含め、すべてのファイルを転送します。
ファイルの安定性を確認
ファイル取り込みとレプリケーションタスクがファイルをピックアップする前に、ファイルが安定していることを確認するかどうかを示します。タスクは、現在の実行で検出した不安定なファイルをスキップします。
安定性確認間隔
これは、［ファイルの安定性を確認］オプションを有効にした場合に適用されます。ファイル取り込みとレプリケーションタスクがファイルの安定性を確認するために待機する時間（秒単位）。
例えば、安定性確認時間が15秒の場合、ファイル取り込みとレプリケーションタスクは、定義されたファイルパターンに一致するソースフォルダ内のすべてのファイルを検出し、15秒間待機してから、安定したファイルのみを処理します。
この間隔は、10秒から300秒の範囲です。デフォルトは10秒です。
バッチサイズ
ファイル取り込みとレプリケーションタスクが1回のバッチで転送できるファイル数。
デフォルトは5です。
最大バッチサイズは、次の条件に基づいて異なります。
  • - 中間ステージングサーバーなしでファイルをソースからターゲットに転送する場合、タスクが1回のバッチで転送できるファイルの最大数は8000です。
  • - 中間ステージングサーバーを使用してファイルをソースからターゲットに転送する場合、タスクが1回のバッチで転送できるファイルの最大数は20です。
  • - 任意のソースからSnowflakeターゲットにファイルを転送する場合、タスクが1回のバッチで転送できるファイルの最大数は1000です。
注: Azure Blob StorageからAzure SQL Data WarehouseおよびSnowflakeにファイルを転送する場合、タスクは中間ステージングサーバーを使用せずにファイルを転送します。

Microsoft Fabric OneLakeソースプロパティ

Microsoft Fabric OneLakeソースを使用したファイル取り込みとレプリケーションタスクを定義する場合は、タスクウィザードの［ソース］タブにソースのオプションを入力する必要があります。
注: ファイル取り込みとレプリケーションREST APIのjobリソースを使用して、ファイル名のパターンとフォルダを上書きし、ソース用に独自の変数を定義できます。詳細については、ジョブを参照してください。
以下の表に、ソースのオプションを示します。
オプション
説明
ファイルピックアップ
ファイル取り込みとレプリケーションタスクは、次のファイルピックアップ方法をサポートします。
  • - パターン別。ファイル取り込みとレプリケーションタスクは、パターン別にファイルをピックアップします。
  • - ファイルリスト別。ファイル取り込みとレプリケーションタスクは、ファイルリストに基づいてファイルをピックアップします。
ソースディレクトリ
ファイルの転送元のディレクトリです。
ソースファイルシステムへの相対パスを入力できます。相対パスを入力するには、パスをピリオドで開始し、その後にスラッシュを続けます（./）。パスは、接続で指定されたソースディレクトリの相対パスです。
注: ファイル取り込みとレプリケーションジョブは、ソースディレクトリに空のファイルがあると失敗します。ただし、サイズフィルタオプションを使用すると、0KBのファイルを選択しないようにすることができます。
パラメータの追加
式を作成し、ソースディレクトリパラメータとして追加します。詳細については、ソースとターゲットのパラメータを参照してください。
サブフォルダのファイルを含む
定義したソースディレクトリにあるすべてのサブフォルダからファイルを転送します。
ファイルパターン
転送するファイルの選択に使用するファイル名パターンです。パターンは、正規表現またはワイルドカード文字を使用したパターンにすることができます。
次のワイルドカード文字を使用できます。
  • - アスタリスク（*）は任意の数の文字を表します。
  • - クエスチョンマーク（?）単一の文字を表す。
例えば、次のような正規表現を指定できます。
([a-zA-Z0-9\s_\\.\-\(\):])+(.doc|.docx|.pdf)$
ファイル日付
転送するファイルをフィルタする日付と時刻の式。
次のいずれかのオプションを選択します。
  • - 以上。指定の日時以降に変更されたファイルをフィルタします。
    • 日付を指定するには、カレンダーをクリックします。時刻を指定するには、時計をクリックします。
  • - 以下。指定した日付および時刻以前に変更されたファイルをフィルタします。
  • - 等しい。指定した日付および時刻に変更されたファイルをフィルタします。
    • カレンダーをクリックして日付を選択し、時計をクリックして時刻を選択します。
  • - 本日までの日数。指定した現在の日付（本日）までの日数以内に変更されたファイルをフィルタします。日数を入力します。現在の日付の計算は00:00から開始されます。
例えば、ファイル取り込みとレプリケーションタスクを毎週実行するようにスケジュールし、前の週に変更されたファイルをフィルタする場合、［本日までの日数］を7に設定します。タスクは、7日前から実行日までの日付のファイルをすべてピックアップします。
時間帯
［ファイル日付］オプションを選択した場合、ファイルが配置されている場所のタイムゾーンを入力します。
ファイルサイズ
ファイルサイズに基づいて転送するファイルをフィルタします。ファイルサイズを入力し、ファイルサイズの単位とフィルタオプションを選択します。
以下のフィルタオプションのいずれか1つを選択してください。
  • - 以上。指定したサイズよりも大きいか等しいファイルをフィルタします。
  • - 以下。指定したサイズ以下のファイルをフィルタします。
  • - 等しい。指定したサイズのファイルをフィルタします
重複したファイルをスキップ
重複したファイルをスキップするかどうかを示します。このオプションを選択した場合、ファイル取り込みとレプリケーションタスクは、別のファイルと同じ名前とサイズのファイルは転送しません。ファイル取り込みとレプリケーションタスクはジョブログでこれらのファイルを重複とマークします。このオプションを選択しない場合、タスクは、名前と作成日が重複しているファイルも含め、すべてのファイルを転送します。
ファイルの安定性を確認
ファイル取り込みとレプリケーションタスクがファイルをピックアップする前に、ファイルが安定していることを確認するかどうかを示します。タスクは、現在の実行で検出した不安定なファイルをスキップします。
安定性確認間隔
これは、［ファイルの安定性を確認］オプションを有効にした場合に適用されます。ファイル取り込みとレプリケーションタスクがファイルの安定性を確認するために待機する時間（秒単位）。
例えば、安定性確認時間が15秒の場合、ファイル取り込みとレプリケーションタスクは、定義されたファイルパターンに一致するソースフォルダ内のすべてのファイルを検出し、15秒間待機してから、安定したファイルのみを処理します。
この間隔は、10秒から300秒の範囲です。デフォルトは10秒です。
バッチサイズ
ファイル取り込みとレプリケーションタスクが1回のバッチで転送できるファイル数。
デフォルトは5です。
一度に転送できるテーブルの最大数は20です。
ファイルのピックアップ後
ファイル転送後にソースファイルに対して実行するアクションを決定します。選択可能なオプションは、以下のとおりです。
  • - ソースディレクトリ内でファイルを保持します。
  • - ソースディレクトリからファイルを削除します。
  • - ソースディレクトリ内でファイルの名前を変更します。ファイルの名前を変更する場合は、ファイル取り込みとレプリケーションタスクがファイル名に追加するファイル名の接尾辞を指定する必要があります。次のいずれかの変数を入力します。
    • - ($date)
    • - ($time)
    • - ($timestamp)
    • - ($runId)
  • - 別の場所にファイルをアーカイブします。ファイルシステムからの絶対パスまたは相対パスでアーカイブディレクトリを指定する必要があります。アーカイブディレクトリは、ソースファイルシステムのサブフォルダ構造を維持するのに役立ちます。
    • 例えば、lakehouse/Files/archiveがアーカイブディレクトリ、lakehouse/Files/testがソースディレクトリ、sub1とsub2がソースディレクトリ内のディレクトリで、サブフォルダのファイルを含めるように選択した場合、アーカイブディレクトリのフォルダ構造はlakehouse/Files/archive/sub1、lakehouse/Files/archive/sub2になります。

ソースとターゲットのパラメータ

ファイル取り込みとレプリケーションタスクが読み取りまたは書き込みを行うソースとターゲットのファイル名パターン、フォルダ、およびテーブルパラメータを設定できます。
次のタイプの変数のいずれかを使用して、パラメータを設定できます。
注: ユーザーインタフェースからユーザー定義変数を使用してタスクを実行することはできません。ユーザー定義変数の値は、ファイル取り込みとレプリケーションREST APIのjobリソースを使用して渡す必要があります。詳細については、「ジョブ」を参照してください。

システム変数を使用したソースパラメータとターゲットパラメータの追加

システム変数を使用してパラメータをタスクのソースとターゲットに追加します。
    1タスクウィザードの［ソース］または［ターゲット］タブの［ソースディレクトリ］または［ターゲットディレクトリ］などの入力フィールドの横の［パラメータの追加］をクリックします。
    ［パラメータの追加］ウィンドウが表示されます。
    ［パラメータの追加］ウィンドウが表示されます。2つのカラムがあります。システム変数は左側にあり、それらから作成した式は右側に表示されます。
    2［システム変数］カラムから必要な変数を選択し、 をクリックします。選択されたシステム変数が［式］カラムに表示されます。このプロシージャを繰り返して、複数のシステム変数を選択します。
    注: タスク内でシステム変数を使用する場合は、${systemvariablename}のようにフォーマットする必要があります。
    以下の表に、システム変数を示します。
    システム変数
    説明
    式
    BadFileDir *
    リジェクトファイルのディレクトリ。次の特殊文字は使用できません。
    * ? < > " | ,
    ${$PMBadFileDir}
    CacheFileDir *
    キャッシュファイルの場所。
    ${$PMCacheDir}
    Date **
    ISO（yyyy-MM-dd）形式の現在の日付。
    ${system.date}
    Day **
    曜日
    ${system.day}
    ExtProcDir *
    外部プロシージャのディレクトリ。次の特殊文字は使用できません。
    * ? < > " | ,
    ${$PMExtProcDir}
    Hours **
    時間
    ${system.hours}
    JobId
    現在のジョブのID（またはジョブ番号）。
    ${system.jobid}
    LookupFileDir *
    ルックアップファイルのディレクトリ。次の特殊文字は使用できません。
    * ? < > " | ,
    ${$PMLookupFileDir}
    Minutes **
    分
    ${system.minutes}
    Month **
    月（数値）
    ${system.month}
    Name
    現在のプロジェクトの名前。
    ${system.name}
    RootDir *
    ノードによるルートディレクトリへのアクセス性。これは他のサービスプロセス変数のルートディレクトリです。次の特殊文字は使用できません。
    * ? < > " | ,
    ${$PMRootDir}
    RunId
    ジョブが実行されたときのID。
    ${system.runid}
    Seconds **
    秒
    ${system.seconds}
    SessionLogDir *
    セッションログのディレクトリ。次の特殊文字は使用できません。
    * ? < > " | ,
    ${$PMSessionLogDir}
    SourceFileDir *
    ソースファイルのディレクトリ。次の特殊文字は使用できません。
    * ? < > " | ,
    ${$PMSourceFileDir}
    StorageDir *
    実行時ファイルのディレクトリ｡ワークフローリカバリファイルは、PowerCenter統合サービスプロパティで設定された$PMStorageDirに保存されます。セッションリカバリファイルは、オペレーティングシステムプロファイルで設定された$PMStorageDirに保存されます。次の特殊文字は使用できません。
    * ? < > " | ,
    ${$PMStorageDir}
    TargetFileDir *
    ターゲットファイルのディレクトリ。次の特殊文字は使用できません。
    * ? < > " | ,
    ${$PMTargetFileDir}
    TempDir *
    一時ファイルのディレクトリ。次の特殊文字は使用できません。
    * ? < > " | ,
    ${$PMTempDir}
    Timestamp **
    ISO（yyyy-MM-dd HH:mm:ss）形式の現在の日付と時刻。
    ${system.timestamp}
    WorkflowLogDir *
    ワークフローログファイルの場所です。
    ${$PMWorkflowLogDir}
    Year **
    年
    ${system.year}
    * 値はデータ統合サーバーから取得されます。
    ** タイムゾーンはSecure Agentのタイムゾーンです。
    3［OK］をクリックします。
    式が入力フィールドに表示されます。

ユーザー定義変数を使用したソースパラメータとターゲットパラメータの追加

ユーザー定義変数を使用してパラメータを追加し、ソースとターゲットを追加します。
    1タスクウィザードの［ソース］または［ターゲット］タブで、［ソースディレクトリ］または［ターゲットディレクトリ］などの入力フィールドをクリックし、変数を入力します。変数は${systemvariablename}のようにフォーマットする必要があります。
    ユーザー定義変数を入力
    2［OK］をクリックします。
    式が入力フィールドに表示されます。

重複するファイルをスキップ

ファイル取り込みとレプリケーションタスクを作成するときに、重複するファイルのスキップを選択できます。［重複するファイルをスキップ］オプションを有効にすると、ファイル取り込みタスクは、以前に転送されたファイルと同じ名前とサイズのファイルを転送しません。ファイル取り込みタスクはジョブログでこれらのファイルを重複とマークします。
スキップされた重複ファイルに関する情報は、次の場所に保存できます。
Informatica Intelligent Cloud Services（IICS）
IICSに保存されている、スキップされた重複ファイルに関する情報は、ファイル取り込みジョブが消去されるまで保持されます。保持期間は、ジョブログサービス（JLS）の消去ポリシーに基づきます。この情報が消去されると、ファイル取り込みタスクは、重複ファイルも含めてファイルを転送します。
スキップされた重複ファイルに関する情報をSecure AgentからIICSに転送するには、Secure Agentでagent-dedup-repositoryプロパティをfalseに設定します。Secure Agentは、スキップされた重複ファイルをIICSに正常に転送した後、それに関する情報を削除します。agent-dedup-repositoryプロパティはAdministratorで設定できます。詳細については、入門ガイドを参照してください。
デフォルトでは、スキップされた重複ファイルに関する情報は、Informatica Intelligent Cloud Servicesに保存されます。
Secure Agent
スキップされた重複ファイルに関する情報は、Secure Agentに保存できます。情報は無期限に保持され、Secure Agentの空きディスク容量に左右されます。現在、Secure Agentでは、この情報に適用される保持ポリシーはありません。
ログ保持ポリシーの詳細については、ナレッジベース記事「000209817」を参照してください。
この情報が保存されるフォルダは設定可能で、Secure Agentグループ内のエージェント間で共有できます。agent-dedup-repositoryプロパティはAdministratorで設定できます。詳細については、入門ガイドを参照してください。
スキップされた重複ファイルの情報をIICSからSecure Agentに転送するには、Secure Agentでagent-dedup-repositoryプロパティをtrueに設定します。スキップされた重複ファイルに関する情報を保存するSecure Agent内のパスは、Administratorでmi-dedup-snapshot-dirプロパティを使用して設定できます。詳細については、入門ガイドを参照してください。
ファイル取り込みタスクは、後続のファイル取り込みジョブを実行するときに、スキップされた重複ファイルに関する情報をIICSからSecure Agentに転送します。スキップされた重複ファイルの情報は、その情報がSecure Agentに正常に転送された後、IICSから削除されます。

ターゲットの設定

ターゲットを設定するには、ファイルの転送先の接続タイプと接続を選択してから、ターゲットのオプションを設定します。
    1［ターゲット］ページで、接続タイプを選択します。
    ファイル取り込みとレプリケーションタスクは、次のターゲット接続タイプをサポートします。
    2接続を選択します。
    3選択したターゲット接続に基づいて、ターゲットのオプションを入力します。
    タスクウィザードの［ターゲット］タブに表示されるオプションは、選択するターゲット接続のタイプによって異なります。
    4［次へ］をクリックします。
    ［スケジュール］タブが表示されます。

Advanced FTP V2ターゲットのプロパティ

Advanced FTP V2ターゲットを使用してファイル取り込みとレプリケーションタスクを定義する場合は、タスクウィザードの［ターゲット］タブにターゲットのオプションを入力する必要があります。
以下の表に、ターゲットのオプションを示します。
オプション
説明
ターゲットディレクトリ
ファイル転送先のディレクトリです。
デフォルト値は接続で指定されたターゲットディレクトリです。
相対パスを入力できます。相対パスを入力するには、パスをピリオドで開始し、その後にスラッシュを続けます（./）。パスは、接続で指定されたターゲットディレクトリの相対パスです。
パラメータの追加
式を作成し、ターゲットディレクトリパラメータとして追加します。詳細については、ソースとターゲットのパラメータを参照してください。
ファイルが存在する場合
ターゲットディレクトリに同じ名前のファイルがすでにある場合に、ファイルの処理を決定します。次のいずれかのオプションを選択します。
  • - 上書き。既存のファイルを上書きします。
  • - タイムスタンプを付加。既存のファイルを保持し、転送されるファイルの名前にタイムスタンプを追加します。
  • - エラー。ターゲットディレクトリに同じ名前のファイルがある場合、ジョブは失敗します。
転送モード
ファイル転送モード。次のいずれかのオプションを選択します。
  • - 自動。ファイル取り込みとレプリケーションにより、転送モードが決定されます。
  • - ASCII。
  • - バイナリ。
    • 注: ネットワークの中断によりバイナリファイル転送が中断された場合、ファイルイベントには中断ステータスが表示されます。ファイル取り込みとレプリケーションジョブを再度実行して、中断されたファイルの転送を再開します。
中間ファイルの作成
ファイルがターゲットの場所に完全に転送されるまでの中間ファイルを作成します。
例えば、file.txtという名前のファイルをソースからターゲットに転送すると、ファイルが完全に転送されるまで、ターゲットの場所にfile.txt_644a1f88という名前の中間ファイルが表示されます。

Advanced FTPS V2ターゲットのプロパティ

Advanced FTPS V2ターゲットを使用してファイル取り込みとレプリケーションタスクを定義する場合は、タスクウィザードの［ターゲット］タブにターゲットのオプションを入力する必要があります。
以下の表に、ターゲットのオプションを示します。
オプション
説明
ターゲットディレクトリ
ファイル転送先のディレクトリです。
デフォルト値は接続で指定されたターゲットディレクトリです。
相対パスを入力できます。相対パスを入力するには、パスをピリオドで開始し、その後にスラッシュを続けます（./）。パスは、接続で指定されたターゲットディレクトリの相対パスです。
パラメータの追加
式を作成し、ターゲットディレクトリパラメータとして追加します。詳細については、ソースとターゲットのパラメータを参照してください。
ファイルが存在する場合
ターゲットディレクトリに同じ名前のファイルがすでにある場合に、ファイルの処理を決定します。次のいずれかのオプションを選択します。
  • - 上書き。既存のファイルを上書きします。
  • - タイムスタンプを付加。既存のファイルを保持し、転送されるファイルの名前にタイムスタンプを追加します。
  • - エラー。ターゲットディレクトリに同じ名前のファイルがある場合、ジョブは失敗します。
転送モード
ファイル転送モード。次のいずれかのオプションを選択します。
  • - 自動。ファイル取り込みとレプリケーションにより、転送モードが決定されます。
  • - ASCII。
  • - バイナリ。
    • 注: ネットワークの中断によりバイナリファイル転送が中断された場合、ファイルイベントには中断ステータスが表示されます。ファイル取り込みとレプリケーションジョブを再度実行して、中断されたファイルの転送を再開します。
中間ファイルの作成
ファイルがターゲットの場所に完全に転送されるまでの中間ファイルを作成します。
例えば、file.txtという名前のファイルをソースからターゲットに転送すると、ファイルが完全に転送されるまで、ターゲットの場所にfile.txt_644a1f88という名前の中間ファイルが表示されます。

Advanced SFTP V2ターゲットのプロパティ

Advanced FTPS V2ターゲットを使用してファイル取り込みとレプリケーションタスクを定義する場合は、タスクウィザードの［ターゲット］タブにターゲットのオプションを入力する必要があります。
以下の表に、ターゲットのオプションを示します。
オプション
説明
ターゲットディレクトリ
ファイル転送先のディレクトリです。
デフォルト値は接続で指定されたターゲットディレクトリです。
相対パスを入力できます。相対パスを入力するには、パスをピリオドで開始し、その後にスラッシュを続けます（./）。パスは、接続で指定されたターゲットディレクトリの相対パスです。
パラメータの追加
式を作成し、ターゲットディレクトリパラメータとして追加します。詳細については、ソースとターゲットのパラメータを参照してください。
ファイルが存在する場合
ターゲットディレクトリに同じ名前のファイルがすでにある場合に、ファイルの処理を決定します。次のいずれかのオプションを選択します。
  • - 上書き。既存のファイルを上書きします。
  • - タイムスタンプを付加。既存のファイルを保持し、転送されるファイルの名前にタイムスタンプを追加します。
  • - エラー。ターゲットディレクトリに同じ名前のファイルがある場合、ジョブは失敗します。
中間ファイルの作成
ファイルがターゲットの場所に完全に転送されるまでの中間ファイルを作成します。
例えば、file.txtという名前のファイルをソースからターゲットに転送すると、ファイルが完全に転送されるまで、ターゲットの場所にfile.txt_644a1f88という名前の中間ファイルが表示されます。

Amazon Redshift V2ターゲットのプロパティ

Amazon Redshift V2ターゲットを使用してファイル取り込みとレプリケーションタスクを定義する場合は、タスクウィザードの［ターゲット］タブにターゲットのオプションを入力する必要があります。
Amazon Redshift V2接続には、Copyコマンド方式を実行するために選択する必要がある次のオプションが用意されています。
以下の表に、［Redshift COPYコマンドのプロパティを定義］オプションを選択した場合にファイル取り込みとレプリケーションタスクで設定できるターゲット詳細オプションの説明を示します。
オプション
説明
ターゲットテーブル名
ファイルがロードされるAmazon Redshift内のテーブルの名前。
注: 転送できるのは、ソースファイルのメタデータに一致するファイルのみです。ジョブを実行する前に、ターゲットテーブルが存在することを確認してください。
スキーマ
Amazon Redshiftのスキーマ名。
デフォルト値はターゲット接続の確立中に使用されるスキーマです。
パラメータの追加
式を作成して、スキーマパラメータとターゲットテーブル名パラメータとして追加します。詳細については、ソースとターゲットのパラメータを参照してください。
ターゲットテーブルの切り詰め
テーブルにデータをロードする前に、ターゲットテーブルを切り詰めます。
ターゲットテーブルの分析
Analyzeコマンドはデータベース内のテーブル内容に関する統計情報を収集し、クエリの最も効率的な実行計画を決定します。
注: ［並行バッチ］の値が1より大きい場合であっても、この操作はすべてのバッチに対して実行されます。
ターゲットテーブルのクリーンアップ
ターゲットテーブルのクリーンアップを選択すると、ディスク領域を回復し、指定されたテーブルの行をソートできます。
以下のリカバリオプションのいずれか1つを選択してください。
  • - フル。指定したテーブルをソートし、前回の更新操作や削除操作で削除のマークが付けられた行によって使用されたディスク領域を回復します。
  • - ソート。削除した行から解放された領域を回復せずに、指定したテーブルをソートします。
  • - 削除。前回の更新操作や削除操作で削除のマークが付けられた行によって使用されたディスク領域を回復し、テーブルを圧縮して使用領域を解放します。
注: ［並行バッチ］の値が1より大きい場合であっても、この操作はすべてのバッチに対して実行されます。
ファイル形式およびコピーオプション
データをコピーする場合の形式を選択します。次のいずれかのオプションを選択します。
  • - DELIMITER。入力ファイル内のフィールドを区切るための単一のASCII文字。パイプ（|）、チルダ（~）、タブ（\t）などの文字を使用できます。指定した区切り文字をデータに含めることはできません。
  • - QUOTE。nvarchar文字の識別とスキップに使用する引用文字を指定します。
  • - COMPUPDATE。現在の圧縮エンコーディングをオーバーライドし、空のテーブルに圧縮を適用します。
  • - AWS_IAM_ROLE。Amazon EC2システムで実行するAmazon Redshiftロールリソース名を指定します。
  • - IGNOREHEADER。ヘッダーを無視する場合に選択します。例えば、IGNOREHEADER 0を指定した場合、タスクは行0からデータを処理します。
  • - DATEFORMAT。日付フィールドの形式を指定します。
  • - TIMEFORMAT。時間フィールドの形式を指定します。
以下の表に、［カスタムのRedshift COPYコマンドを入力］ オプションを選択した場合にファイル取り込みとレプリケーションタスクで設定できるターゲット詳細オプションの説明を示します。
プロパティ
説明
COPYコマンド
Amazon Redshift COPYコマンドは、データをテーブル内の既存の行に付加します。
Amazon S3ステージングディレクトリとAmazon Redshiftターゲットが異なるリージョンに属している場合は、COPYコマンドでリージョンを指定する必要があります。
以下に例を示します。
copy public.messages
from '{{FROM-S3PATH}}' credentials
'aws_access_key_id={{ACCESS-KEY-ID}};aws_secret_access_key={{SECRET-ACCESS-KEY-ID}}'
MAXERROR 0 REGION '' QUOTE '"' DELIMITER ',' NULL '' CSV;
ここで、publicにはスキーマ、messagesにはテーブル名を指定します。
COPYコマンドの詳細については、AWSのマニュアルを参照してください。
以下の表に、Copyコマンド方式のいずれかを選択した後で、ファイル取り込みとレプリケーションタスクで設定できるAmazon Redshiftのターゲット詳細オプションの説明を示します。
プロパティ
説明
Pre SQL
ファイル取り込みとレプリケーションタスクがCOPYコマンドを実行する前に実行するSQLコマンド。
注: ［並行バッチ］の値が1より大きい場合であっても、この操作はすべてのバッチに対して実行されます。
Post SQL
ファイル取り込みとレプリケーションタスクがCOPYコマンドを実行した後に実行するSQLコマンド。
注: ［並行バッチ］の値が1より大きい場合であっても、この操作はすべてのバッチに対して実行されます。
S3ステージングディレクトリ
Amazon S3ステージングディレクトリを指定します。
Amazon S3ステージングディレクトリは、<bucket_name/folder_name>の形式で指定する必要があります。
ステージングディレクトリは、ファイル取り込みとレプリケーションタスクの実行後に削除されます。
中間ステージングなしでRedshiftにアップロード
中間ステージングを追加せずに、Amazon S3ソースディレクトリからAmazon RedshiftにAmazon S3のファイルを直接アップロードします。
このオプションを選択する場合は、Amazon S3バケットとAmazon S3ステージングディレクトリが同じリージョンに属していることを確認します。
このオプションを選択しない場合は、Amazon S3ステージングディレクトリとAmazon Redshiftターゲットが同じリージョンに属していることを確認します。
ファイル圧縮*
ファイルがターゲットディレクトリに転送される前に圧縮されるかどうかを決定します。次のいずれかのオプションを選択します。
  • - なし。ファイルを圧縮しません。
  • - GZIPGZIP圧縮を使用してファイルを圧縮します。
ファイル暗号化タイプ*
ファイル転送中に使用するAmazon S3ファイル暗号化のタイプです。次のいずれかのオプションを選択します。
  • - なし。ファイルは転送中に暗号化されません。
  • - S3サーバーサイド暗号化。Amazon S3は、AWSによって管理された暗号化キーを使用してファイルを暗号化します。
  • - S3クライアントサイド暗号化。無制限のポリシーがAgentJVMに対して実装されていること、および接続のマスタ対称キーが設定されていることを確認します。
注: Amazon S3がソースの場合、クライアントサイド暗号化はタスクに適用されません。
S3高速転送*
S3バケットでAmazon S3の転送高速化を使用するかどうかを選択します。転送高速化を使用するには、高速化転送をバケットで有効にする必要があります。次のいずれかのオプションを選択します。
  • - 無効。Amazon S3の転送高速化を使用しないでください。
  • - 高速。Amazon S3の転送高速化を使用します。
  • - デュアルスタック高速。デュアルスタックエンドポイントでAmazon S3の転送高速化を使用します。
最小アップロードパートサイズ*
複数の独立したパートセットとしてサイズの大きなファイルをアップロードする場合の最小アップロードパートサイズ。このオプションを使用して、ファイルのロードをAmazon S3に合わせます。
マルチパートアップロードしきい値*
複数のパートにオブジェクトを同時にアップロードするタイミングを決定するメガバイト単位のマルチパートダウンロードの最小しきい値。
*AmazonS3からAmazon Redshift V2にデータを読み取る場合は適用されません。

Amazon S3 V2ターゲットのプロパティ

Amazon S3 V2ターゲットを使用してファイル取り込みとレプリケーションタスクを定義する場合は、タスクウィザードの［ターゲット］タブにターゲットのオプションを入力する必要があります。
以下の表に、ターゲットのオプションを示します。
オプション
説明
フォルダパス
バケット名など、ファイルの転送先であるAmazon S3フォルダです。デフォルト値は接続で指定されたフォルダパスです。
相対パスを入力できます。相対パスを入力するには、パスをピリオドで開始し、その後にスラッシュを続けます（./）。パスは、接続で指定されたターゲットディレクトリの相対パスです。
パラメータの追加
式を作成し、フォルダパスパラメータとして追加します。詳細については、ソースとターゲットのパラメータを参照してください。
ファイル圧縮
ファイルがターゲットディレクトリに転送される前に圧縮されるかどうかを決定します。次のいずれかのオプションを選択します。
  • - なし。ファイルは圧縮されません。
  • - GZIPファイルはGZIP圧縮を使用して圧縮されます。
ファイル暗号化タイプ
ファイル転送中に使用するAmazon S3ファイル暗号化のタイプです。次のいずれかのオプションを選択します。
  • - なし。ファイルは転送中に暗号化されません。
  • - S3サーバーサイド暗号化。Amazon S3は、AWSによって管理された暗号化キーを使用してファイルを暗号化します。
  • - S3クライアントサイド暗号化。無制限のポリシーがAgentJVMに対して実装されていること、および接続のマスタ対称キーが設定されていることを確認します。
ファイルが存在する場合
ターゲットディレクトリに同じ名前のファイルがすでにある場合に、ファイルの処理を決定します。以下のフィルタオプションのいずれか1つを選択してください。
  • - 上書き。既存のファイルを上書きします。
  • - タイムスタンプを付加。既存のファイルを保持し、転送されるファイルの名前にタイムスタンプを追加します。
S3高速化転送
S3バケットでAmazon S3の転送高速化を使用するかどうかを選択します。転送高速化を使用するには、高速化転送をバケットで有効にする必要があります。次のいずれかのオプションを選択します。
  • - 無効。Amazon S3の転送高速化を使用しないでください。
  • - 高速。Amazon S3の転送高速化を使用します。
  • - デュアルスタック高速。デュアルスタックエンドポイントでAmazon S3の転送高速化を使用します。
最小アップロードパートサイズ
複数の独立したパートセットとしてサイズの大きなファイルをアップロードする場合の最小アップロードパートサイズ。このオプションを使用して、ファイルのロードをAmazon S3に合わせます。
マルチパートアップロードしきい値
複数のパートにオブジェクトを同時にアップロードするタイミングを決定するメガバイト単位のマルチパートダウンロードの最小しきい値。

Cloud統合ハブのターゲットプロパティ

Cloud統合ハブをターゲットとして使用して、ファイル取り込みとレプリケーションタスクを定義する場合は、ファイルを転送するための接続と接続タイプを選択します。それ以外に設定するターゲットオプションはありません。

Databricksターゲットのプロパティ

Databricksターゲットを使用してファイル取り込みとレプリケーションタスクを定義する場合は、タスクウィザードの［ターゲット］タブにターゲットのオプションを入力する必要があります。
注: Amazon S3 V2ソースおよびMicrosoft Azure Data Lake Store Gen2ソースからDatabricksターゲットに転送できるのはParquetファイルのみであり、すべてのファイルに同じメタデータが必要です。
以下の表に、ターゲットのオプションを示します。
オプション
説明
データベース
必須。ターゲットテーブルを含むDatabricks Lakeのデータベースの名前。
相対値を使用して、接続で渡されるデータベース値を選択できます。相対値を使用するには、省略記号（...）を入力します。
パラメータの追加
式を作成して、データベースパラメータとテーブル名パラメータとして追加します。詳細については、ソースとターゲットのパラメータを参照してください。
テーブル名
必須。Databricksの既存のテーブルの名前。
テーブルが存在する場合
テーブル名がターゲットデータベース内の既存のテーブルの名前と一致する場合に、Secure Agentがテーブルに対して実行する必要のあるアクションを決定します。次のいずれかのオプションを選択します。
  • - 上書き
  • - 付加
デフォルトは［上書き］です。
注: 次のエラーでジョブが失敗した場合、詳細についてはクラスタログを参照してください。
"[ERROR] Job execution failed. State : JOB_FAILED ; State Message :"

Google BigQuery V2ターゲットのプロパティ

。
Google BigQuery V2ターゲットを使用してファイル取り込みとレプリケーションタスクを定義する場合は、タスクウィザードの［ターゲット］タブにターゲットのオプションを入力する必要があります。
注: Google BigQuery V2ターゲットを使用してファイル取り込みとレプリケーションタスクを定義する場合、ソースとして設定できるのはGoogle Cloud Storage V2だけです。
以下の表に、ターゲットのオプションを示します。
オプション
説明
ターゲットテーブル名
Google BigQueryターゲットテーブル名を指定します。
注: 転送できるのは、ソースファイルのメタデータに一致するファイルのみです。ジョブを実行する前に、ターゲットテーブルが存在することを確認してください。
データセットID
Google BigQueryデータセット名を指定します。
パラメータの追加
式を作成して、ターゲットテーブル名パラメータとデータセットIDパラメータとして追加します。詳細については、ソースとターゲットのパラメータを参照してください。
フィールド区切り文字
Google BigQuery V2コネクタで.csvファイルのフィールドのフィールド区切り文字を許可する必要があるかどうかを示します。
文字列の引用符
Google BigQueryにデータを書き込むときにスキップする引用符を指定します。Google BigQueryにデータを書き込む際に、指定した引用符がソーステーブルに含まれていると、タスクは失敗します。引用符の値をソーステーブルに存在しない値に変更します。
引用符付きの改行の許可
Google BigQuery V2コネクタが.csvファイルで改行文字を含む引用符で囲まれたデータセクションを許可する必要があるかどうかを示します。
ジャグ行の許可
Google BigQuery V2コネクタで.csvファイルの後続フィールドのない行を許可する必要があるかどうかを示します。
先頭行のスキップ
Google BigQueryV2コネクタがデータのロード時にスキップするソースファイルの最上位行の数を指定します。
デフォルトは0です。
ファイルのデータ形式
ソースファイルのデータ形式を指定します。以下のいずれかのデータ形式を選択できます。
  • - JSON(改行区切り)
  • - CSV
  • - Avro
  • - Parquet
  • - ORC
書き込み処理
ターゲットテーブルがすでに存在する場合に、Google BigQuery V2コネクタがバルクモードでデータを書き込む方法を指定します。
次の値から選択することができます。
  • - 付加書き込み。ターゲットテーブルが存在する場合、Google BigQuery V2コネクタはデータをテーブル内の既存のデータに追加します。
  • - 切り詰め書き込み。ターゲットテーブルが存在する場合、Google BigQuery V2コネクタはテーブル内の既存のデータを上書きします。
  • - 空の書き込み。ターゲットテーブルが存在し、データが含まれている場合、Google BigQuery V2コネクタはエラーを表示し、データをターゲットに書き込みません。Google BigQuery V2コネクタは、ターゲットテーブルにデータが含まれていない場合にのみ、データをターゲットに書き込みます。

Google Cloud Storage V2ターゲットのプロパティ

Google Cloud Storage V2ターゲットを使用してファイル取り込みとレプリケーションタスクを定義する場合は、タスクウィザードの［ターゲット］タブにターゲットのオプションを入力する必要があります。
以下の表に、ターゲットのオプションを示します。
オプション
説明
フォルダパス
ファイルが転送されるGoogle Cloud Storageのパス。バケット名、またはバケット名とフォルダ名のいずれかを入力できます。
例えば、<バケット名>または<バケット名>/<フォルダ名>と入力します。
注: パスの先頭に、1つのスラッシュ（/）を使用しないでください。
相対パスを入力できます。相対パスを入力するには、パスをピリオドで開始し、その後にスラッシュを続けます（./）。パスは、接続で指定されたバケットの相対パスです。
パラメータの追加
式を作成し、フォルダパスパラメータとして追加します。詳細については、ソースとターゲットのパラメータを参照してください。
ファイル圧縮
ファイルがターゲットディレクトリに転送される前に圧縮されるかどうかを決定します。次のいずれかのオプションを選択します。
  • - なし。ファイルを圧縮しません。
  • - GZIPGZIP圧縮形式を使用してファイルを圧縮します。
ファイルが存在する場合
同じ名前のファイルがターゲットディレクトリに存在する場合に、Secure Agentがファイルに対して実行する必要のあるアクションを決定します。次のいずれかのオプションを選択します。
  • - 上書き
  • - タイムスタンプを付加

Hadoop Files V2ターゲットのプロパティ

Hadoop Files V2ターゲットを使用してファイル取り込みとレプリケーションタスクを定義する場合は、タスクウィザードの［ターゲット］タブにターゲットのオプションを入力する必要があります。
以下の表に、ターゲットのオプションを示します。
オプション
説明
ターゲットディレクトリ
ファイル転送先のディレクトリです。
パラメータの追加
式を作成し、ターゲットディレクトリパラメータとして追加します。詳細については、ソースとターゲットのパラメータを参照してください。

ローカルフォルダターゲットのプロパティ

ローカルフォルダターゲットを使用してファイル取り込みとレプリケーションタスクを定義する場合は、タスクウィザードの［ターゲット］タブにターゲットのプロパティを入力する必要があります。
以下の表に、ターゲットのオプションを示します。
オプション
説明
ターゲットディレクトリ
ファイル転送先のディレクトリです。Secure Agentがこのディレクトリにアクセスできる必要があります。
パラメータの追加
式を作成し、ターゲットディレクトリパラメータとして追加します。詳細については、ソースとターゲットのパラメータを参照してください。
ファイルが存在する場合
ターゲットディレクトリに同じ名前のファイルがある場合に、ファイルの処理を決定します。次のいずれかのオプションを選択します。
  • - 上書き。既存のファイルを上書きします。
  • - タイムスタンプを付加。既存のファイルを保持し、転送されるファイルの名前にタイムスタンプを追加します。
  • - エラー。ターゲットディレクトリに同じ名前のファイルがある場合、ジョブは失敗します。
中間ファイルの作成
ファイルがターゲットの場所に完全に転送されるまでの中間ファイルを作成します。
例えば、file.txtという名前のファイルをソースからターゲットに転送すると、ファイルが完全に転送されるまで、ターゲットの場所にfile.txt_644a1f88という名前の中間ファイルが表示されます。
重要: Amazon S3 V2、Google Cloud Storage V2、Microsoft Azure Blob Storage v3、Microsoft Azure Data Lake Storage Gen2、およびHadoop Files V2からデータを読み取る場合は適用されません。

Microsoft Azure Blob Storage V3ターゲットのプロパティ

Microsoft Azure Blob Storageソースを使用してファイル取り込みとレプリケーションタスクを定義する場合は、タスクウィザードの［ターゲット］タブにターゲットのオプションを入力する必要があります。
以下の表に、ターゲットのオプションを示します。
オプション
説明
BLOBコンテナ
Microsoft Azure Blob Storageコンテナ（フォルダパスとコンテナ名を含む）。
パラメータの追加
式を作成し、BLOBコンテナパラメータとして追加します。詳細については、ソースとターゲットのパラメータを参照してください。
BLOBのタイプ
BLOBのタイプ。次のいずれかのオプションを選択します。
  • - BLOBのブロック。テキストファイルまたはバイナリファイル（ドキュメントやメディアファイルなど）の保存に適しています。
  • - BLOBの追加。ログのシナリオなど、追加操作用に最適化されています。
ファイル圧縮
ファイルがターゲットディレクトリに転送される前に圧縮されるかどうかを決定します。選択可能なオプションは、以下のとおりです。
  • - なし。ファイルは圧縮されません。
  • - GZIPファイルはGZIP圧縮を使用して圧縮されます。
Blob Storeへの同時接続数
Microsoft Azure Blob Storageコンテナへの同時接続数。

Microsoft Azure Data Lake Storage Gen2ターゲットプロパティ

Microsoft Azure Data Lake Storage Gen2ターゲットを使用してファイル取り込みとレプリケーションタスクを定義する場合は、タスクウィザードの［ターゲット］タブにターゲットのオプションを入力する必要があります。
以下の表に、ターゲットのオプションを示します。
ターゲットプロパティ
説明
ターゲットディレクトリ
ファイル転送先のディレクトリです。ディレクトリが存在しない場合は、実行時に作成されます。実行時に指定されたディレクトリパスで、接続の作成時に指定されたパスが上書きされます。
デフォルト値は接続で指定されたターゲットディレクトリです。
相対パスを入力できます。相対パスを入力するには、パスをピリオドで開始し、その後にスラッシュを続けます（./）。パスは、接続で指定されたターゲットディレクトリの相対パスです。
パラメータの追加
式を作成し、ターゲットディレクトリパラメータとして追加します。詳細については、ソースとターゲットのパラメータを参照してください。
ファイル圧縮
ファイルがターゲットディレクトリに転送される前に圧縮されるかどうかを決定します。選択可能なオプションは、以下のとおりです。
  • - なし。ファイルは圧縮されません。
  • - GZIPファイルはGZIP圧縮を使用して圧縮されます。
ファイルが存在する場合
ターゲットディレクトリに同じ名前のファイルがある場合に、ファイルの処理を決定します。選択可能なオプションは、以下のとおりです。
  • - 上書き
  • - 付加
  • - 失敗
ブロックサイズ(バイト)
大きなファイルを指定された小さなブロックサイズに分割します。サイズの大きいファイルを書き込む場合は、ファイルを小さな部分に分割し、同時接続を設定して、データを並列処理するために必要な数のスレッドを生成してください。
デフォルトは、8388608バイト（8MB）です。

Microsoft Azure Data Lake Store Gen1 V3ターゲットのプロパティ

Microsoft Azure Data Lake Store Gen1 V3ターゲットを使用してファイル取り込みとレプリケーションタスクを定義する場合は、タスクウィザードの［ターゲット］タブにターゲットのオプションを入力する必要があります。
以下の表に、ターゲットのオプションを示します。
ターゲットプロパティ
説明
ターゲットディレクトリ
ファイル転送先のディレクトリです。
デフォルト値は接続で指定されたターゲットディレクトリです。
相対パスを入力できます。相対パスを入力するには、パスをピリオドで開始し、その後にスラッシュを続けます（./）。パスは、接続で指定されたターゲットディレクトリの相対パスです。
パラメータの追加
式を作成し、ターゲットディレクトリパラメータとして追加します。詳細については、ソースとターゲットのパラメータを参照してください。
ファイル圧縮
ファイルがターゲットディレクトリに転送される前に圧縮されるかどうかを決定します。選択可能なオプションは、以下のとおりです。
  • - なし。ファイルは圧縮されません。
  • - GZIPファイルはGZIP圧縮を使用して圧縮されます。
ファイルが存在する場合
ターゲットディレクトリに同じ名前のファイルがある場合に、ファイルの処理を決定します。選択可能なオプションは、以下のとおりです。
  • - 上書き
  • - 付加
  • - 失敗

Microsoft Azure Synapse SQLターゲットのプロパティ

Microsoft Azure Synapse SQLソースを使用してファイル取り込みとレプリケーションタスクを定義する場合は、タスクウィザードの［ターゲット］タブにターゲットのオプションを入力する必要があります。
以下の表に、ターゲットのオプションを示します。
プロパティ
説明
取り込み方法
Microsoft Azure Synapse SQLにデータをロードするための取り込み方法。
次のいずれかのオプションを選択します。
  • - PolyBase
  • - COPYコマンド
コマンドのタイプ
取り込み方法のコマンドタイプ。
次のいずれかのオプションを選択します。
  • - 自動生成。このオプションを選択すると、コマンドのプロパティを定義できます。
  • - カスタム。このオプションを選択すると、ファイル取り込みとレプリケーションタスクが使用するカスタムコマンドを指定できます。
次の表は、PolybaseまたはCOPYコマンド取り込み方法と自動生成コマンドタイプを選択した場合のMicrosoft Azure Synapse SQLターゲット詳細オプションについて説明しています。
注: 自動生成コマンドタイプは、テキストおよびCSV形式のファイルにのみ適用できます。
プロパティ
説明
ターゲットテーブル名
ファイルをロードするMicrosoft Azure Synapse SQLのテーブルの名前。
注: 転送できるのは、ソースファイルのメタデータに一致するファイルのみです。ジョブを実行する前に、ターゲットテーブルが存在することを確認してください。
パラメータの追加
式を作成して、ターゲットテーブル名パラメータとスキーマパラメータとして追加します。詳細については、ソースとターゲットのパラメータを参照してください。
スキーマ
Microsoft Azure Synapse SQLスキーマ名。相対値を入力して、接続で渡されるスキーマ値を選択できます。相対値を使用するには、省略記号（...）を入力します。
ターゲットテーブルの切り詰め
ロード前にターゲットテーブルを切り詰めます。
Pre SQL
ファイル取り込みとレプリケーションタスクがPolyBaseまたはCopyコマンドを実行する前に実行するSQLコマンド。
注: ［並行バッチ］の値が1より大きい場合であっても、この操作はすべてのバッチに対して実行されます。
Post SQL
ファイル取り込みとレプリケーションタスクがPolyBaseまたはCopyコマンドを実行した後で実行するSQLコマンド。
注: ［並行バッチ］の値が1より大きい場合であっても、この操作はすべてのバッチに対して実行されます。
フィールド区切り文字
ファイル内のフィールドを区切るために使用する文字。デフォルト値は0x1eです。リストから以下のフィールド区切り文字を選択できます。
~ ` | .TAB 0x1e
文字列の引用符
Microsoft Azure Synapse SQLにデータを書き込むときにスキップする引用符を指定します。Microsoft Azure Synapse SQLにデータを書き込む際に、指定した引用符がソーステーブルに含まれていると、タスクは失敗します。引用符の値をソーステーブルに存在しない値に変更します。
外部ステージ*
ファイルをMicrosoft Azure Synapse SQLにロードする際に使用する外部ステージディレクトリを指定します。ファイルは、Microsoft Azure Blob StorageまたはMicrosoft Azure Data Lake Storage Gen2でステージングできます。
ファイル取り込みとレプリケーションタスクは、AdministratorのMicrosoft Azure Synapse SQL接続の次のプロパティで指定された値を使用して、外部ステージパスプロパティを自動的に入力します。
  • - ファイルシステム名（ADLS Gen2が接続ストレージタイプである場合）。
  • - コンテナ名（Azure Blobが接続ストレージタイプである場合）
値をオーバーライドできます。
ファイル圧縮*
ターゲットディレクトリへの転送の前にファイルを圧縮するかどうかを指定します。
選択可能なオプションは、以下のとおりです。
  • - なし。ファイルを圧縮しません。
  • - GZIPGZIP圧縮を使用してファイルを圧縮します。
同時接続数*
Microsoft Azure Blob StorageまたはMicrosoft Azure Data Lake Storage Gen2からデータを抽出する際の同時接続数。サイズの大きいファイルまたはオブジェクトを読み取る場合は、複数のスレッドを生成してデータを処理できます。BLOBパートサイズまたはブロックサイズを設定して、大きなファイルを小さな部分に分割します。
デフォルト値は4です。最大値は10です。
*Microsoft Azure Blob StorageまたはMicrosoft Azure Data Lake Storage Gen2からデータを読み取る場合は適用されません。
次の表は、PolybaseまたはCOPYコマンド取り込み方法とカスタムコマンドタイプを選択した場合のMicrosoft Azure Synapse SQLターゲット詳細プロパティについて説明しています。
プロパティ
説明
ファイル形式の定義
Polybase取り込み方法に適用されます。
Transact-SQL CREATE EXTERNAL FILE FORMAT文。以下に例を示します。
CREATE EXTERNAL FILE FORMAT {{fileFormatName}} WITH ( FORMAT_TYPE = DELIMITEDTEXT, FORMAT_OPTIONS (FIELD_TERMINATOR = ',', STRING_DELIMITER = '"') )
以下は、Parquet形式で外部ファイルを作成する例です。
CREATE EXTERNAL FILE FORMAT {{fileFormatName}} WITH (FORMAT_TYPE = PARQUET)
同様に、JSON、Avro、およびORC形式で外部ファイルを作成できます。
CREATE EXTERNAL FILE FORMAT文の詳細については、Microsoftのマニュアルを参照してください。
外部テーブルの定義
Polybase取り込み方法に適用されます。
Transact-SQL CREATE EXTERNAL TABLE文。以下に例を示します。
CREATE EXTERNAL TABLE {{externalTable}} ( id INT, name NVARCHAR ( 100 ) ) WITH (LOCATION = '{{blobLocation}}', DATA_SOURCE = {{dataSourceName}}, FILE_FORMAT = {{fileFormatName}})
以下は、Parquet形式で外部テーブルを作成する例です。
CREATE EXTERNAL TABLE {{externalTable}}（username VARCHAR（100）、number int、colour VARCHAR（100））WITH（LOCATION = '{{blobLocation}}'、DATA_SOURCE = {{dataSourceName}}、FILE_FORMAT = {{fileFormatName} }）
同様に、JSON、Avro、およびORC形式で外部テーブルを作成できます。
CREATE EXTERNAL TABLE文の詳細については、Microsoftのマニュアルを参照してください。
Insert SQLの定義
Polybase取り込み方法に適用されます。
Transact-SQL INSERT文。以下に例を示します。
INSERT INTO schema.table (id, name) SELECT id+5, name FROM {{externalTable}}
以下は、Parquet形式で挿入SQLを定義する例です。
INSERT INTO testing.test_parq(username,number,colour) SELECT username, number,colour FROM {{externalTable}};
同様に、JSON、Avro、およびORC形式でInsert SQLを定義できます。
INSERT文の詳細については、Microsoftのマニュアルを参照してください。
Copyコマンドの定義
COPYコマンドの取り込み方法に適用されます。
Transact-SQL COPY INTO文。以下に例を示します。
COPY INTO schema.table FROM EXTERNALLOCATION WITH(CREDENTIAL = (AZURECREDENTIALS), FIELDTERMINATOR = ',', FIELDQUOTE = '')
以下は、Parquet形式でCOPYコマンドを定義する例です。
COPY INTO testing.test_parq FROM EXTERNALLOCATION WITH(CREDENTIAL = (AZURECREDENTIALS), FILE_TYPE = 'PARQUET')
同様に、JSON、Avro、およびORC形式でCOPYコマンドを定義できます。
COPY INTO文の詳細については、Microsoftのマニュアルを参照してください。
Pre SQL
ファイル取り込みとレプリケーションタスクがPolyBaseコマンドを実行する前に実行するSQLコマンド。
注: ［並行バッチ］の値が1より大きい場合であっても、この操作はすべてのバッチに対して実行されます。
Post SQL
ファイル取り込みとレプリケーションタスクがPolyBaseコマンドを実行した後に実行するSQLコマンド。
注: ［並行バッチ］の値が1より大きい場合であっても、この操作はすべてのバッチに対して実行されます。
外部ステージ*
ファイルをMicrosoft Azure Synapse SQLにロードする際に使用する外部ステージディレクトリを指定します。ファイルは、Microsoft Azure Blob StorageまたはMicrosoft Azure Data Lake Storage Gen2でステージングできます。
同時接続数*
Microsoft Azure Blob StorageまたはMicrosoft Azure Data Lake Storage Gen2からデータを抽出する際の同時接続数。サイズの大きいファイルまたはオブジェクトを読み取る場合は、複数のスレッドを生成してデータを処理できます。BLOBパートサイズまたはブロックサイズを設定して、大きなファイルを小さな部分に分割します。
デフォルト値は4です。最大値は10です。
*Microsoft Azure Blob StorageまたはMicrosoft Azure Data Lake Storage Gen2からデータを読み取る場合は適用されません。

Microsoft Fabric OneLakeターゲットプロパティ

Microsoft Fabric OneLakeターゲットを使用したファイル取り込みとレプリケーションタスクを定義する場合は、タスクウィザードの［ターゲット］タブにターゲットのオプションを入力する必要があります。
以下の表に、ターゲットのオプションを示します。
オプション
説明
ターゲットディレクトリ
ファイル転送先のディレクトリです。Secure Agentがこのディレクトリにアクセスできる必要があります。
パラメータの追加
式を作成し、フォルダパスパラメータとして追加します。詳細については、ソースとターゲットのパラメータを参照してください。
ファイル圧縮
ファイルがターゲットディレクトリに転送される前に圧縮されるかどうかを決定します。次のいずれかのオプションを選択します。
  • - なし。ファイルを圧縮しません。
  • - GZIPGZIP圧縮形式を使用してファイルを圧縮します。
ファイルが存在する場合
同じ名前のファイルがターゲットディレクトリに存在する場合に、Secure Agentがファイルに対して実行する必要のあるアクションを決定します。次のいずれかのオプションを選択します。
  • - 上書き
  • - 付加
    • 注: バイナリファイルに対してappendオプションを指定してジョブを実行した場合、ファイルの内容は追加されません。

Snowflake Data Cloudターゲットのプロパティ

Snowflake Data Cloudターゲットを使用してファイル取り込みとレプリケーションタスクを定義する場合は、タスクウィザードの［ターゲット］タブにターゲットのオプションを入力する必要があります。
以下の表に、ターゲットのオプションを示します。
プロパティ
説明
ウェアハウス
Snowflake Data Cloud接続で指定された名前をオーバーライドします。相対値を入力して、接続で渡されるウェアハウス値を選択できます。相対値を入力するには、3つのピリオドを入力します（...）。
パラメータの追加
式を作成して、ウェアハウスパラメータ、データベースパラメータ、スキーマパラメータおよびターゲットテーブル名パラメータとして追加します。詳細については、ソースとターゲットのパラメータを参照してください。
データベース
Snowflake Data Cloudのデータベース名。
スキーマ
Snowflake Data Cloudのスキーマ名。
ターゲットテーブル名
Snowflake Data Cloudターゲットテーブルのテーブル名。
ターゲットテーブル名では、大文字と小文字が区別されます。
注: 転送できるのは、ソースファイルのメタデータに一致するファイルのみです。ジョブを実行する前に、ターゲットテーブルが存在することを確認してください。
ロール
接続で指定されたSnowflake Data Cloudユーザーロールをオーバーライドします。相対値を入力して、接続で渡されるロール値を選択できます。相対値を使用するには、省略記号（...）を入力します。
Pre SQL
書き込み操作の開始前にターゲットで実行されるSQL文。
注: ［並行バッチ］の値が1より大きい場合であっても、この操作はすべてのバッチに対して実行されます。
Post SQL
書き込み操作の完了後にターゲットテーブルで実行されるSQL文。
注: ［並行バッチ］の値が1より大きい場合であっても、この操作はすべてのバッチに対して実行されます。
ターゲットテーブルの切り詰め
新しい行を挿入する前にデータベースターゲットテーブルをトランケートします。すべての行を挿入する前にターゲットテーブルを切り詰める場合は、このオプションを有効にします。このオプションを無効にすると、ターゲットテーブルを切り詰めずに新しい行が挿入されます。
ファイル形式およびコピーオプション
Snowflake Data Cloudにデータを読み込むためのコピーオプションとファイル形式。
コピーオプションは、ファイルからデータを読み込むときにエラーが発生した場合にタスクが実行するアクションを指定します。
エラーが発生したときにCOPY文を中止するには、次のコピーオプションを指定できます。

ON_ERROR = ABORT_STATEMENT
ファイルを読み込む際に、ファイル形式を指定し、データファイルのルールを定義します。タスクはデータをSnowflake Data Cloudテーブルに一括読み込みする際に、指定されたファイル形式とルールを使用します。
次の形式がサポートされています。
  • - CSV
  • - JSON
  • - Avro
  • - ORC
  • - Parquet
外部ステージ
ファイルをSnowflake Data Cloudテーブルに読み込む際に使用する外部ステージディレクトリを指定します。
指定したソースフォルダパスが、Snowflake Data Cloudでの特定の接続タイプに対する外部ステージのURLで指定されているフォルダパスと同じであることを確認してください。
ファイル取り込みとレプリケーションのソースがMicrosoft Azure Blob StorageおよびAmazon S3である場合に適用されます。外部ステージは、接続タイプとしてMicrosoft Azure Blob Storage V3を使用する場合は必須ですが、Amazon S3 V2を使用する場合はオプションです。Amazon S3 V2の場合に外部ステージを指定しなかった場合、Snowflake Data Cloudはデフォルトで外部ステージを作成します。
ファイル圧縮
ファイルがターゲットディレクトリに転送される前に圧縮されるかどうかを決定します。
選択可能なオプションは、以下のとおりです。
  • - なし。ファイルは圧縮されません。
  • - GZIPファイルはGZIP圧縮を使用して圧縮されます。
Microsoft Azure Blob Storage V3およびAmazon S3 V2以外の、ファイル取り込みとレプリケーションタスクをサポートするすべてのソースに適用されます。

ファイル形式およびコピーオプション

大量のファイルをSnowflake Data Cloudに転送するファイル取り込みとレプリケーションタスクを設定する場合は、データを読み込むためのコピーオプションとファイル形式を指定します。
ファイル取り込みとレプリケーションタスクのSnowflake Data Cloud接続を選択し、ターゲットオプションでコピーオプションとファイルを形式を指定して、ファイルをSnowflake Data Cloudターゲットテーブルに読み込む方法を決定します。
コピーオプションは、ファイルからデータを読み込むときにエラーが発生した場合にタスクが実行するアクションを指定します。
エラーが発生したときにCOPY文を中止するには、次のコピーオプションを指定できます。

ON_ERROR = ABORT_STATEMENT
注: Snowflake Data Cloudのファイル取り込みとレプリケーションタスクは、ON_ERRORコピーオプションのABORT_STATEMENTに対してのみ認定されています。
ファイルを読み込む際に、ファイル形式を指定し、データファイルのルールを定義します。タスクはデータをSnowflake Data Cloudテーブルに一括読み込みする際に、指定されたファイル形式とルールを使用します。
次のリストは、一部の形式タイプオプションを示しています。

Snowflakeにファイルをロードするためのファイル形式とコピーオプションの例

CSVファイル形式を作成し、Snowflakeにファイルをロードするために次のルールを定義します。
file_format = (type = csv field_delimiter = '|' skip_header = 1)というファイル形式を指定します。
文字&&を使用して、コピーオプションとファイル形式を指定できます。
例: file_format = (type = csv field_delimiter = ',' skip_header = 2)&&on_error=ABORT_STATEMENT
同様に、［ファイル形式およびコピーオプション］フィールドで次のファイル形式を使用して、データを個別のカラムにロードします。
文字列MATCH_BY_COLUMN_NAMEは、データで表される対応するカラムと一致するターゲットテーブルのカラムに半構造化データをロードするかどうかを指定します。サポートされているオプションは、CASE_SENSITIVE、CASE_INSENSITIVE、およびNONEです。デフォルトはNONEです。
カラムがデータとテーブルで一致するためには、次の基準を考慮してください。
指定可能なさまざまなファイル形式とコピーオプションの詳細については、Webサイトhttps://docs.snowflake.net/manuals/sql-reference/sql/copy-into-table.html#copy-options-copyoptionsにあるSnowflake Data Cloudのドキュメントを参照してください。
JSONファイルのロードのルールとガイドライン
JSON形式のファイルをSnowflake Data Cloudにロードするときは、次のルールとガイドラインを考慮してください。
JSON形式のファイルをSnowflake Data Cloudにロードする場合、ターゲットテーブルのバリアントタイプは1列だけにする必要があります。
JSON形式のファイルをカラムナ形式にロードするには、次のタスクを考慮します。
例として、バリアントカラムを持つテーブルの次のデータビューを参照します。
テーブルをカラムナ形式に更新するには、次のSQLクエリをマッピングタスクの［後処理コマンド］フィールドから実行します。
INSERT INTO PERSONS_JSON SELECT parse_json($1):email,
parse_json($1):first_name,
parse_json($1):gender,
parse_json($1):id,
parse_json($1):ip_address,
parse_json($1):last_name from PERSONS_JSON_VARIANT
マッピングタスクの実行後、Secure Agentはカラムナ形式のデータをSnowflakeにコピーします。

外部ステージ

Microsoft Azure Blob StorageまたはAmazon S3ソースからSnowflake Data Cloudテーブルにファイルを読み込むファイル取り込みとレプリケーションタスクを構成する場合、Snowflakeで使用する外部ステージングディレクトリを指定します。
ファイル取り込みとレプリケーションタスクの［ターゲットオプション］セクションで使用する特定の接続タイプに対して外部ステージ名を指定する必要があります。
Microsoft Azure Blob StorageからSnowflake Data Cloudにファイルを読み込むファイル取り込みとレプリケーションタスクを実行する場合、ソースの接続タイプがMicrosoft Azure Blob Storage V3であれば、［外部ステージ］フィールドの値は必須です。ソースの接続タイプがAmazon S3 V2で、Snowflake Data CloudのターゲットオプションでAmazon S3 V2の外部ステージをユーザーが指定していない場合、Snowflakeではデフォルトで外部ステージディレクトリが作成されます。Snowflakeに接続するには、外部ステージの作成およびコピーコマンドの権限が必要です。
ファイル取り込みとレプリケーションタスクの［ソースオプション］のソースディレクトリパスが、Snowflake Data CloudでMicrosoft Azure Blob Storage V3接続またはAmazon S3 V2接続用に作成された外部ステージのURLで指定されているディレクトリパスと同じであることを確認してください。
例えば、Azureのアカウント名とフォルダパスを持つBlobコンテナを使用して作成されたMicrosoft Azure Blob Storage用の外部ステージは、次のステージURLを持ちます。'azure://<URL>/<Blobコンテナ>/<フォルダパス>'.ステージは、ファイル取り込みとレプリケーションタスクの［ターゲットオプション］で指定したファイル形式を使用します。
次の図は、Snowflake Data CloudにおけるMicrosoft Azure Blob Storage V3接続用のステージ名とステージURLを示しています。
Snowflakeで作成されたステージURLの詳細を確認できます。
この例では、ステージURLはazure://adapterdevblob.blob.core.windows.net/snowflakemi/MI/で、外部ステージ名はMFT_BLOB1です。
ファイル取り込みとレプリケーションジョブを作成するときに、Microsoft Azure Blob Storage V3ソースの［ソースオプション］の［フォルダパス］フィールドで、ステージURLである/snowflakemi/MIから次の<Blobコンテナ>/<フォルダパス>を指定します。
次の図は、［ソースオプション］セクションで指定されたソースフォルダパスを示しています。
一括取り込みタスクの［Microsoft Azure Blob Storageソース］タブで、設定されている詳細を確認できます。
Snowflake Data Cloudの［ターゲットオプション］で、作成された外部ステージの名前MFT_BLOB1を指定します。
次の図は、［ターゲットオプション］セクションで設定された外部ステージフィールドを示しています。
Snoflake Data Cloudターゲットのプロパティ

Snowflake Data Cloudファイル取り込みとレプリケーションタスクのルールおよびガイドライン

サポート対象のファイル取り込みとレプリケーションソースからSnowflake Data Cloudに書き込むファイル取り込みとレプリケーションタスクを設定する場合は、1回のバッチで転送できる最大数のファイルのバッチサイズを指定する必要があります。ファイル取り込みとレプリケーションタスクに必要なソースのプロパティで、バッチサイズの値を指定します。バッチサイズを指定すると、タスクのパフォーマンスが最適化されます。
デフォルトのバッチサイズは5です。Amazon S3またはAzure Blob StorageソースからSnowflakeターゲットに書き込む場合は、Amazon S3またはAzure Blob Storageソースのプロパティで、最大バッチサイズの1000を指定できます。ファイル取り込みとレプリケーションをサポートする他のソースの場合は、1から20の間でバッチサイズを指定する必要があります。

ファイル処理アクションの設定

ファイル取り込みとレプリケーションがファイルを転送する前にファイルに対して実行する、圧縮や暗号化などのファイル処理アクションを定義できます。
    1ファイル処理アクションを追加するには、［アクション］タブのプラス記号をクリックします。
    ［アクションの詳細］ウィンドウが表示されます。
    2次のファイル処理アクションを実行します。
    アクション
    説明
    圧縮
    ファイルを圧縮するには、［圧縮］を選択します。その後、次のアクションタイプのいずれかを選択します。
    • - Zip
    • - Gzip
    • - Tar
    • - Bzip2
    パスワードを入力して.zipファイルを保護することができます。.zipファイルに複数のファイルが含まれている場合は、すべての圧縮ファイルに同じパスワードが適用されます。
    圧縮解除
    圧縮ファイルを圧縮解除するには、［圧縮解除］を選択します。その後、次のアクションタイプのいずれかを選択します。
    • - Unzip
    • - Gunzip
    • - Untar
    • - Bunzip2
    ファイルの圧縮に使用された圧縮アクションタイプに対応するアクションタイプを使用してください。たとえば、.zipファイルの場合は、Unzipの方法を使用します。
    パスワードで保護された.zipファイルを解凍するには、正しいパスワードを入力してください。誤ったパスワードで圧縮ファイルを解凍しようとすると、ジョブは失敗します。例えば、5ファイルのうち、4ファイルが同じパスワードで保護され、残りの1つのファイルが別のパスワードで保護されている場合に、ジョブが誤ったパスワードでファイルを解凍しようとすると失敗します。
    パスワードを使用していない圧縮ファイルを開くと、ファイル取り込みとレプリケーションは、アクションで入力したパスワードを無視します。例えば、5ファイルのうち、4ファイルのみがパスワードで保護されている場合、ジョブは正常に実行され、5ファイルすべてが解凍されます。
    暗号化
    PGP暗号化方法を使用してファイルを暗号化するには、［暗号化］を選択します。次に、［PGP］を選択して、ファイルを復号化するユーザーのキーIDを入力します。
    • - 署名キーを追加するには、［署名］を選択します。
      • キーIDとキーパスフレーズが有効になります。
    • - ファイルの接尾辞を入力します。デフォルトは.pgpです。デフォルト値を上書きできます。
    • - プライベートキーIDとキーパスフレーズを入力します。キーパスフレーズにはスペースを含めないでください。
    注: ファイル取り込みとレプリケーションで転送されるファイルの保護に関する詳細については、「ファイル取り込みとレプリケーションのセキュリティ」を参照してください。
    復号化
    PGPで暗号化されたファイルを復号化するには、［復号化］を選択します。次に、［PGP］を選択して、ターゲットディレクトリのユーザーのキーパスフレーズを入力します。キーパスフレーズにはスペースを含めないでください。
    ファイル操作
    ターゲットディレクトリ内のファイルに対して操作を実行するには、［ファイル操作］を選択します。その後、次のアクションタイプのいずれかを選択します。
    • - 非階層化。ファイルを複数のフォルダからターゲットディレクトリの1つのフォルダへ移動します。
    • - ファイル名の変更。ターゲットディレクトリ内のファイルの名前を変更します。
    アクションとしてファイルの名前を変更することを選択した場合は、変数を入力して、名前を変更したファイルに接尾辞を付けます。
    ウイルススキャン
    ICAPプロトコルを使用してファイルのウイルスをスキャンするには、［ウイルススキャン］を選択します。次に、［ICAP］を選択して、［ICAPサーバーURL］またはファイルがスキャンされるサーバーを入力します。ICAPは、マルウェアがファイルで検出されたかどうかを示す応答コードを送信します。
    注: 組織のICAPサーバーを使用します。
    3［保存］をクリックします。
    別のアクションを追加するには、プラス記号をクリックします。アクションを削除するには、［削除］をクリックします。ファイル取り込みとレプリケーションタスクがファイルを処理する順序を変更するには、アクションのシーケンスをドラッグアンドドロップします。
    4［次へ］をクリックします。［ランタイムオプション］タブが表示されます。

ランタイムオプションの設定

ファイル取り込みとレプリケーションタスクは手動で実行したり、特定の時間やファイルの転送準備完了時に実行されるようにタスクのスケジュールを設定したりすることもできます。タスクが失敗した場合に通知を受け取ることができます。複数のジョブとファイルバッチを同時に実行できます。ジョブが作成するログレベルを選択することもできます。
    1［ランタイムオプション］ページの［スケジュールの詳細］で、次のいずれかのオプションを選択します。
    2［障害管理］で、［障害時に通知を送信］オプションを選択して、タスクが失敗した場合、およびタスクが感染ファイルを検出した場合に通知を受け取ります。通知の送信先の電子メールアドレスのコンマ区切りリストを入力します。
    ファイル取り込みとレプリケーションタスクは、感染ファイルを検出すると、そのファイルをソースから検疫ディレクトリにコピーします。デフォルトのディレクトリパスは、<エージェントの場所>/data/quarantineです。
    3複数のファイル取り込みとレプリケーションタスクジョブを同時に実行するには、［詳細オプション］で［同時実行を許可］を選択します。
    警告: ターゲットに重複ファイルが含まれている場合、同時ジョブを実行すると予期しない結果が生じる可能性があります。
    4並行して実行するファイルバッチの数を選択します。デフォルトは1です。
    注: ［ターゲットテーブルの切り詰め］オプションを使用するデータベースコネクタの場合、［並行バッチ］値は1である必要があります。
    5ログレベルを選択して、ジョブが作成するログの詳細レベルを決定します。次のいずれかのオプションを選択します。
    デフォルト値は［通常］です。
    6［保存］をクリックします。