Amazon S3ソース
Amazon S3オブジェクトは、 同期 タスク、マッピング、または マッピング タスク内のソースとして使用できます。
単一のAmazon S3標準オブジェクトは、 同期 タスク、マッピング、または マッピング タスク内のソースとして使用できます。詳細ソースプロパティを設定するとき、Amazon S3固有のプロパティを設定します。
Amazon S3ソースのクライアントサイド暗号化
クライアントサイド暗号化は、データをAmazon S3サーバーに送信する前にデータを暗号化する方法です。
Amazon S3ソースに対してクライアントサイド暗号化を有効にすると、Amazon S3は暗号化されたデータをアンロードしてから、そのデータをSecure Agentにプッシュします。Secure Agentは、タスクまたはマッピングロジックに基づいてデータをターゲットに書き込みます。
クライアントサイド暗号化を有効にするには、接続プロパティでマスタ対称キーまたは顧客マスタキーを指定する必要があります。Secure Agentは、マスタ対称キーまたは顧客マスタキーを使用してデータを暗号化します。
複数ファイルでの作業
複数のAmazon S3ソースを読み取り、1つのターゲットに書き込むことができます。
複数のファイルを読み取るには、すべてのファイルが同じAmazon S3バケットに存在している必要があります。Amazon S3バケット内の複数のソースから読み取りを行う場合は、 .manifest ファイルを作成する必要があります。このファイルには、すべてのソースファイルとそれぞれの絶対パスまたはディレクトリパスが含まれます。 .manifest ファイル名は、次の形式で指定する必要があります。 <file_name>.manifest
例えば、 .manifest ファイルには、ソースファイルが次の形式で含まれます。
{ "fileLocations": [{ "URIs": [ "dir1/dir2/file_1.csv", "dir1/dir2/dir4/file_2.csv", "dirA/dirB/file_3.csv", "dirA/dirB/file_4.csv" ] }, { "URIPrefixes": [ "dir1/dir2/", "dir1/dir2/"] } ], "settings": { "stopOnFail": "true" } }
［データプレビュー］ タブには、 .manifest ファイルで指定されたURIで使用可能な最初のファイルのデータが表示されます。URIセクションが空の場合、URIPrefixesに指定されたフォルダの最初のファイルが表示されます。
ファイル名にアスタリスク（*）ワイルドカードを指定して、Amazon S3バケットからファイルを取得できます。アスタリスク（*）ワイルドカードを指定して、すべてのファイルを取得したり、名前のパターンに一致するファイルのみを取得したりできます。次の形式でワイルドカード文字を指定します。
abc*.txt abc.*
例えば、 「result*.txt」と指定すると、ファイル名が 「result」 という語で始まり、 「.txt」 というファイル拡張子で終わるすべてのファイルが読み取られます。「 result.*」と指定すると、ファイル名が 「result」 で始まるすべてのファイルが、拡張子に関係なく読み取られます。
ワイルドカード文字を使用して、1つのフォルダのファイルを指定します。以下に例を示します。
{ "fileLocations": [{ "URIs": [ "dir1/dir2/file_1.csv", "dir1/dir2/dir4/file_2.csv", ] }, { "URIPrefixes": [ "dir1/dir2/", "dir1/dir2/"] } ], { "WildcardURIs": [ "multiread_wildcard/file_1/*.csv" ] } ] "settings": { "stopOnFail": "true" } }
フォルダ名の指定には、ワイルドカード文字を使用できません。以下に例を示します。
{ "WildcardURIs": [ "multiread_wildcard/dir1*/", "multiread_wildcard/*/" ] }
注: Amazon S3コネクタでは、アスタリスク（*）ワイルドカード文字のみがサポートされます。
stopOnFail プロパティを設定して、複数のファイルの読み取り中にエラーメッセージを表示するようにできます。任意のソースファイルで読み取り操作が失敗した場合に、Secure Agentがエラーメッセージを表示するようにするには、値をtrueに設定します。値をfalseに設定すると、エラーメッセージはセッションログにのみ表示されます。Secure Agentは、エラーが生成されたファイルをスキップして、他のファイルの読み取りを続けます。
パーティション化
パーティション化を設定して、Amazon S3ソースからデータを読み取るときのマッピングの実行時パフォーマンスを最適化できます。
パーティションタイプによって、パーティションポイントでパーティションにデータを配布する方法を制御します。パーティションタイプをパススルーパーティションとして定義できます。パーティション化が設定されていると、Secure Agentは、パーティションとして定義したスレッドの数に基づいてソースデータの行を配布します。
Amazon S3ソースのパーティション化を設定するには、マッピングタスクの［パーティション］タブで［パーティションの数］フィールドの値を指定できます。Secure Agentは、［パーティションの数］フィールドに入力された値に基づいて、Amazon S3ソースのパーティションを設定します。デフォルトでは、［パーティションの数］フィールドの値は1です。
Secure Agentは、Amazon S3ソースファイルのサイズに応じてパーティションを有効にします。ファイル名には、<file name>_<number>形式で、0から始まる数字が付加されます。
注: パーティション化を有効にした場合に、ソースカラムの精度がそのカラムの最大データ長より小さいと、予期しない結果が発生することがあります。予期しない結果が発生しないようにするには、パーティション化が期待通りに機能するようにするために、ソースカラムの精度を、そのカラムの最大データ長と同じかそれより大きくする必要があります。
複数のAmazon S3ソースからデータを読み取るマッピングのパーティションは設定できません。