Amazon S3コネクタ > Amazon S3を使用したマッピングとマッピングタスク > マッピングでのAmazon S3オブジェクト
  

マッピングでのAmazon S3オブジェクト

マッピングを作成するときに、ソースまたはターゲットのトランスフォーメーションをAmazon S3オブジェクトを表すように設定できます。

マッピングでのAmazon S3ソース

Amazon S3からデータを読み取るには、Amazon S3オブジェクトをマッピングのソーストランスフォーメーションとして設定します。
Amazon S3ソースの名前と説明を指定します。ソースオブジェクトのソースプロパティと詳細プロパティを設定します。Amazon S3でタスクをルックアップとして作成する場合、ルックアップ条件は適用されません。
次の表に、ソーストランスフォーメーションで設定できるソースプロパティを示します。
プロパティ
説明
接続名
ソース接続の名前。
ソースタイプ
ソースタイプ。次のいずれかのタイプを選択します。
  • - 単一オブジェクト。
  • - パラメータ。マッピングタスクを設定する際に、ソースタイプを定義するには、［パラメータ］を選択します。
オブジェクト
マッピングのソースオブジェクト。
形式オプション
Amazon S3の形式オプション。［形式オプション］ダイアログボックスを開き、ファイルの形式を定義します。デフォルトは区切りファイルです。
次の形式オプションを設定します。
  • - 区切り文字: 区切り文字。カンマ、タブ、コロン、セミコロンなどのパラメータを設定できます。
  • - テキスト修飾子: テキストを修飾する文字。単一引用符、二重引用符などのパラメータを設定できます。
次の表に、ソーストランスフォーメーションで設定できる詳細ソースプロパティを示します。
プロパティ
説明
S3ファイルの分割ダウンロードを有効にする
大きなAmazon S3オブジェクトを複数パーツに分けてダウンロードします。
Secure Agentは、Amazon S3のオブジェクトを複数パーツに分けてダウンロードします。
Amazon S3オブジェクトのファイルサイズが5MBを超える場合は、オブジェクトを複数パーツに分けて同時にダウンロードできます。
ヘッダー行番号
Amazon S3コネクタにはこのプロパティは反映されません。
データの読み込み開始行
Secure Agentがデータを読み取る場所から行番号を指定します。
デフォルトは1です。
注: ヘッダーからデータを読み取るには、［ヘッダー行番号］と［データの読み込み開始行］のフィールドに同じ値を指定する必要があります。
ステージングファイルの場所
Amazon S3のステージングディレクトリ。
Secure Agentランタイム環境でタスクを実行する場合は、ランタイム環境内の対応するSecure Agentマシンで利用できるディレクトリパスを指定します。
ディレクトリパスを指定すると、Secure Agentは、次の形式で指定したパーティションの数に応じてフォルダを作成します。 InfaS3Staging<00/11><timestamp>_<partition number>。ここで、00は読み取り操作を表し、11は書き込み操作を表します。
例えば、InfaS3Staging000703115851268912800_0のようになります。
注: 新しいディレクトリに一時ファイルが作成されます。
ディレクトリ名を指定するとき、同じ名前のフォルダがすでに存在する場合、Secure Agentはそのフォルダのコンテンツを削除します。指定した場所に対する書き込み権限が必要です。
ディレクトリパスを指定しない場合、Secure Agentはステージングファイルの場所として一時ディレクトリを使用します。
ホステッドエージェントのランタイム環境でタスクを実行する場合は、ステージングディレクトリの場所を空のままにしてください。ホステッドエージェントは、一時的な場所にディレクトリを作成します。
パーツサイズ
オブジェクトのパーツサイズを指定します。デフォルトは5MBです。
トレースレベル
ログファイルに表示される詳細情報の量を設定します。
［簡易］、［ノーマル］、［詳細 - 初期化］、［詳細 - データ］から選択できます。デフォルトは［ノーマル］です。
注: Amazon S3ソースは、ソースパーティションとのマッピングをサポートしていません。

マッピングでのAmazon S3ターゲット

Amazon S3にデータを挿入するには、Amazon S3オブジェクトをマッピングのターゲットとして設定します。
Amazon S3ターゲットの名前と説明を指定します。ターゲットオブジェクトのターゲットプロパティと詳細プロパティを設定します。
以下の表に、ターゲットトランスフォーメーションで設定できるターゲットプロパティを示します。
プロパティ
説明
接続
ターゲット接続の名前。
ターゲットタイプ
ターゲットのタイプ。次のいずれかのタイプを選択します。
  • - 単一オブジェクト。
  • - パラメータ。タスクを設定するとき、ターゲットタイプを定義するには、［パラメータ］を選択します。
オブジェクト
ターゲットオブジェクトの名前。既存のオブジェクトを選択するか、ランタイム時にオブジェクトを作成できます。
ターゲットの作成
ターゲットを作成します。
ターゲットオブジェクトの名前とパスを入力して、使用するソースフィールドを選択します。
デフォルトでは、すべてのソースフィールドが使用されます。ターゲット名に英数字を含めることはできません。
ファイル名では、ピリオド（.）、アンダースコア（_）、アットマーク（@）、ドル記号（$）、パーセント記号（%）のみを特殊文字として使用できます。ターゲットオブジェクトの名前とパスを指定すると、接続プロパティで指定されたバケット名とフォルダ名の下に、指定されたパスでオブジェクトが作成されます。
例えば、接続プロパティでフォルダ名にFinance/Reportsを指定し、［ターゲットの作成］プロパティでEast/Sample/Report1を指定した場合、Report1という名前のターゲットがFinance/Reports/East/Sampleに作成されます。
注: パスの先頭に、1つのスラッシュ（/）を使用しないでください。パスに、2つのスラッシュ（//）または2つのドット（..）を使用しないでください。
形式オプション
Amazon S3の形式オプション。［形式オプション］ダイアログボックスを開き、ファイルの形式を定義します。デフォルトは区切りファイルです。
次の形式オプションを設定します。
  • - 区切り文字: 区切り文字。カンマ、タブ、コロン、セミコロンなどのパラメータを設定できます。
  • - テキスト修飾子: テキストを修飾する文字。単一引用符、二重引用符などのパラメータを設定できます。
  • - エスケープ: エスケープ文字。
操作
ターゲット操作を選択します。
Amazon S3ターゲットは区切りファイルであるため、挿入操作のみでタスクを実行できます。タスクを実行すると、Secure Agentにより、ファイル内のすべてのデータが置換されます。
マッピングタスクのターゲット名では、パラメータファイルに定義したパラメータを使用できます。マッピングタスクを設定するときにソースタイプを定義するには［パラメータ］を選択します。
注: ターゲットを作成するときに、ファイル名に$LastRunTimeおよび$LastRunDateシステムパラメータを使用しないでください。これらのパラメータを使用した場合、マッピングタスクで例外が発生します。
マッピングの場合、入力および出力パラメータを使用してターゲットファイル名をパラメータ化します。ターゲット作成時にフォルダパスを指定するのは、マッピングの場合だけです。
次の表に詳細ターゲットプロパティを示します
プロパティ
説明
暗号化タイプ
データの暗号化に使用する方法。次のいずれかの値を選択します。
  • - なし。データは暗号化されません。
  • - クライアント側の暗号化。
    • - 区切りファイルをAmazonバケットにアップロード中に、Secure Agentによりデータが暗号化されます。
    • - Amazon S3接続プロパティでマスタ対称キーまたは顧客マスタキーIDを指定する場合は、詳細プロパティでクライアントサイド暗号化を選択する必要があります。
  • - サーバー側の暗号化。
    • - Amazon S3接続プロパティで顧客マスタキーIDを指定する場合は、詳細プロパティでサーバーサイド暗号化を選択する必要があります。
    • - 詳細プロパティでサーバーサイド暗号化を選択し、接続プロパティで顧客マスタキーIDを指定しない場合、データの暗号化にはAmazon S3が管理する暗号化キーが使用されます。
フォルダパス
Amazon S3オブジェクトへの完全なパス。バケット名と任意のフォルダ名が含まれている必要があります。
フォルダパスの末尾にスラッシュを使用しないでください。
例: <バケット名>/<フォルダ名>
実行時に指定されたフォルダパスで、接続の作成時に指定されたパスが上書きされます。
圧縮タイプ
データをAmazon S3に書き込むとき、データをGZIP形式で圧縮します。
Amazon S3のターゲットファイルの拡張子は.gzになります。Secure Agentはデータを圧縮してから、そのデータをAmazon S3バケットに送信します。
デフォルトは［なし］です。
パーツサイズ
オブジェクトのパーツサイズを指定します。
デフォルトは5MBです。
TransferManagerスレッドプールサイズ
データを並行して書き込むスレッドの数を指定します。
Amazon S3コネクタはAWS TransferManager APIを使用して、大きなオブジェクトを複数パーツに分けてAmazon S3にアップロードします。
ファイルサイズが5MBを超える場合、マルチパーツアップロードを設定して、複数パーツに分けたオブジェクトを並行してアップロードできます。［TransferManagerスレッドプールサイズ］を50よりも大きく設定した場合、値は50に戻ります。
デフォルトは10です。
パーティションファイルのマージ
データをAmazon S3ターゲットに書きこむとき、Secure Agentですべてのパーティションファイルを1つのファイルにマージするか、指定されたパーティションの数に基づいて個々のファイルを維持するかを指定します。
デフォルトでは選択されていません。
分散カラム
実行時に複数ターゲットファイルの作成に使用するカラムの名前を指定します。
ステージングファイルの場所
Amazon S3のステージングディレクトリ。
Secure Agentランタイム環境でタスクを実行する場合は、ランタイム環境内の対応するSecure Agentマシンで利用できるディレクトリパスを指定します。
ディレクトリパスを指定すると、Secure Agentは、次の形式で指定したパーティションの数に応じてフォルダを作成します。InfaS3Staging<00/11><timestamp>_<partition number>。ここで、00は読み取り操作を表し、11は書き込み操作を表します。
例えば、InfaS3Staging000703115851268912800_0のようになります。
注: 新しいディレクトリに一時ファイルが作成されます。
ディレクトリ名を指定するとき、同じ名前のフォルダがすでに存在する場合、Secure Agentはそのフォルダのコンテンツを削除します。指定した場所に対する書き込み権限が必要です。
ディレクトリパスを指定しない場合、Secure Agentはステージングファイルの場所として一時ディレクトリを使用します。
ホステッドエージェントのランタイム環境でタスクを実行する場合は、ステージングディレクトリの場所を空のままにしてください。ホステッドエージェントは、一時的な場所にディレクトリを作成します。
オブジェクトタグ
Amazon S3バケットに格納されているオブジェクトに、1つまたは複数のタグを追加できます。
キー値のペアを入力するか、キー値のペアを含むファイルパスを指定することができます。
詳細については、オブジェクトタグを参照してください。
成功ファイルディレクトリ
該当なし。
エラーファイルのディレクトリ
該当なし。
拒否された行の転送
トランスフォーメーションが、拒否された行を次のトランスフォーメーションに渡すか、拒否された行を削除するかを決定します。
デフォルトでは、マッピングアプリケーションは拒否された行を次のトランスフォーメーションに転送します。