Amazon Redshiftコネクタ > 部 III: Amazon Redshiftコネクタを使用したデータ統合 > Amazon Redshiftによるマッピングとマッピングタスク > マッピングタスクのAmazon Redshift オブジェクト
  

マッピングタスクのAmazon Redshift オブジェクト

統合テンプレートに基づいてマッピングタスクを設定する場合は、Amazon Redshiftのソースとターゲットに詳細プロパティを設定できます。

マッピングタスクのAmazon Redshiftソース

テンプレートベースのマッピングタスクで使用するAmazon Redshiftソース接続の場合、マッピングタスクウィザードの[ソース]ページで詳細プロパティを設定できます。
以下の詳細プロパティを設定できます。
詳細プロパティ
説明
S3バケット名
Amazon RedshiftターゲットデータのAmazon S3バケット名。
Amazon Redshiftクラスタと同じリージョンでS3バケットを使用します。
圧縮を有効にする
ファイルをAmazon Redshiftに書き込む前に、ステージングファイルを圧縮します。
ランタイム環境でステージングファイルを圧縮するときにタスクパフォーマンスが向上します。
デフォルトではオンに設定されています。
ステージングディレクトリの場所
Amazon Redshiftのステージングディレクトリ。
Secure Agentランタイム環境でタスクを実行する場合は、ランタイム環境内の各Secure Agentマシンで利用できるディレクトリパスを指定します。
Hosted Agentのランタイム環境でタスクを実行する場合は、ステージングディレクトリを空のままにしてください。Hosted Agentは、一時的な場所にディレクトリを作成します。
UnloadOptionsプロパティファイル
Unloadコマンドのオプション。
Amazon RedshiftオブジェクトからS3バケットにデータを書き込むためには、Unloadコマンドにオプションを追加します。次のオプションを追加できます。
  • - DELIMITER
  • - PARALLEL
  • - ESCAPE
  • - AWS_IAM_ROLE
Secure Agentのランタイム環境でタスクを実行するときは、アンロードオプションを含むプロパティファイルのパスを指定するか、[UnloadOptionsプロパティファイル]フィールドで直接アンロードオプションを指定します。
Hosted Agentランタイム環境でタスクを実行するときは、[UnloadOptionsプロパティファイル]フィールドで直接オプションを指定します。
S3クライアントサイドの暗号化の有効化
Secure Agentがプライベート暗号化キーを使用してデータを暗号化することを示します。
暗号化タイプ
ソースの暗号化タイプを選択します。以下の暗号化タイプから選択できます。
  • - SSE-S3
  • - SSE-KMS
デフォルトは、SSE-S3です。詳細については、Amazon Redshiftソースのデータ暗号化を参照してください。
S3ファイルの分割ダウンロードの有効化
大きなAmazon S3オブジェクトを複数パーツに分けてダウンロードします。
Amazon S3オブジェクトのファイルサイズが5MBを超える場合は、オブジェクトを複数パーツに分けて同時にダウンロードできます。
パーツサイズ
オブジェクトのパーツサイズを指定します。デフォルトは5MBです。
Infa詳細フィルタ
Amazon Redshiftコネクタには適用されません。
Pre-SQL
Amazon Redshiftからデータを読み取る前にクエリを実行するためのPre-SQLコマンド。UNLOADコマンドまたはCOPYコマンドを使用することもできます。ここで指定するコマンドは、プレーンテキストとして処理されます。
Post-SQL
Amazon Redshiftにデータを書き込んだ後にクエリを実行するためのPost-SQLコマンド。UNLOADコマンドまたはCOPYコマンドを使用することもできます。ここで指定するコマンドは、プレーンテキストとして処理されます。
SQL クエリ
デフォルトクエリーを上書きします。カラム名を二重引用符で囲みます。SQLクエリでは大文字と小文字が区別されます。Amazon RedshiftデータベースでサポートされているSQL文を指定します。
Number of Sorted Ports
クエリが行われたソースの行をソートする場合に使用されるカラム数。エージェントでは、ソース行を読み込む際にデフォルトのクエリにORDER BY句が追加されます。ORDER BY句には、指定された数のポートが、トランスフォーメーションの最初のポートから順に取り込まれます。ソートするポート数を指定する場合、データベースのソート順は、セッションのソート順に一致しなければなりません。
デフォルトは 0 です。
個別選択
一意の値を選択します。このオプションを選択すると、エージェントにSELECT DISTINCT文が含まれます。Amazon Redshiftは末尾のスペースを無視します。したがって、予期されるより少ない行がエージェントで抽出される可能性があります。
ソーステーブル名
デフォルトのソーステーブル名を上書きできます。
トレースレベル
ログファイルに表示される詳細情報の量を設定します。
[簡易]、[通常]、[詳細 - 初期化]、[詳細 - データ]から選択できます。デフォルトは[通常]です。

マッピングタスクのAmazon Redshiftターゲット

テンプレートベースのマッピングタスクで使用するAmazon Redshiftターゲット接続の場合、マッピングタスクウィザードの[ターゲット]ページで詳細プロパティを設定できます。
以下の詳細プロパティを設定できます。
プロパティ
説明
S3バケット名
Amazon RedshiftターゲットデータのAmazon S3バケット名。
Amazon Redshiftクラスタと同じリージョンでS3バケットを使用します。
圧縮を有効にする
ファイルをAmazon Redshiftに書き込む前に、ステージングファイルを圧縮します。
ランタイム環境でステージングファイルを圧縮するときにタスクパフォーマンスが向上します。
デフォルトではオンに設定されています。
ステージングディレクトリの場所
Amazon Redshiftのステージングディレクトリ。
ランタイム環境をホストするマシン上のディレクトリを指定します。
バッチサイズ
バッチ内の最小行数。0より大きい値を入力します。
デフォルトは2000000です。
INSERT用のアップロードバッチごとの最大Redshiftエラー数
バッチの失敗の原因となるバッチ内のエラーの数。正の整数値を入力します。
エラー数がプロパティ値以上になると、ランタイム環境はバッチ全体をエラー行ファイルに書き込みます。
デフォルトは1です。
データロード前にターゲットテーブルをトランケート
データをターゲットに書き込む前に、Amazon Redshiftターゲットをトランケートします。
CHARデータ型およびVARCHARデータ型のNULL値
Amazon RedshiftターゲットのCHARおよびVARCHARフィールドのNULL値を表すために使用される文字列値(NULL、スペース文字など)。
デフォルトは空の文字列です。
S3でのファイル整合性のための待ち時間(秒)
ランタイム環境でステージングファイルを使用できるようになるまでの待ち時間(秒)。
デフォルトは5です。
CopyOptionsプロパティファイル
プロパティファイルのパス。
Amazon S3からAmazon Redshiftターゲットにデータを書き込むためにCopyコマンドにオプションを追加できるようになります。次のオプションを追加できます。
  • - DELIMITER
  • - ACCEPTINVCHARS
  • - QUOTE
  • - COMPUPDATE
Secure Agentランタイム環境でタスクを実行するときは、コピーオプションを含むプロパティのパスを指定するか、[CopyOptionsプロパティファイル]フィールドで直接コピーオプションを指定します。
Hosted Agentランタイム環境でタスクを実行するときは、[CopyOptionsプロパティファイル]フィールドで直接オプションを指定する必要があります。
S3サーバーサイドの暗号化の有効化
Amazon S3がアップロードおよびアクセス時にデータを暗号化および復号化することを示します。
S3クライアントサイドの暗号化の有効化
ランタイム環境がプライベート暗号化キーを使用してデータを暗号化することを示します。
サーバーサイドとクライアントサイドの両方で暗号化を有効にすると、ランタイム環境はサーバーサイドの暗号化を無視します。
ターゲットテーブルのクリーンアップ
ディスク領域を回復し、指定したテーブルまたはデータベース内のすべてのテーブルの行をソートします。
次のリカバリオプションを選択できます。
  • - なし
  • - 全体
  • - ソートのみ
  • - 削除のみ
  • - 再インデックス
デフォルトは[なし]です。
ターゲットテーブルの分析
読み取りおよび書き込み操作の効率が向上します。
Amazon Redshiftのクエリプランナーは、統計メタデータを更新して、クエリ効率の向上に最適な計画を作成して選択します。
S3でステージングファイルを保持するためのプレフィックス
Amazon S3でステージングファイルを保持します。
Amazon S3 でステージングファイルを保持するには、ディレクトリプレフィックスとファイルプレフィックスの両方をスラッシュ(/)で区切って指定するか、ファイルプレフィックスのみを指定します。例えば、backup_dir/backup_filebackup_fileです。
Pre-SQL
Amazon Redshiftからデータを読み取る前にクエリを実行するためのPre-SQLコマンド。UNLOADコマンドまたはCOPYコマンドを使用することもできます。ここで指定するコマンドは、プレーンテキストとして処理されます。
Post-SQL
Amazon Redshiftにデータを書き込んだ後にクエリを実行するためのPost-SQLコマンド。UNLOADコマンドまたはCOPYコマンドを使用することもできます。ここで指定するコマンドは、プレーンテキストとして処理されます。
ターゲットテーブル名
デフォルトのターゲットテーブル名を上書きできます。
パーツサイズ
オブジェクトのパーツサイズを指定します。
デフォルトは5MBです。
TransferManagerスレッドプールサイズ
データを並行して書き込むスレッドの数を指定します。
デフォルトは10です。
バッチごとのファイル数
バッチごとにターゲットステージングファイル数を計算するためのファイル数を指定します。
値を指定しない場合、ターゲットステージングファイル数は内部的に計算されます。
注: クラスタタイプとAmazon Redshiftクラスタ内のノード数に基づいて最小値を指定します。大きい値を指定しないでください。そうしない場合、タスクはOutOfMemoryErrorエラーメッセージを表示して失敗します。
成功ファイルディレクトリ
Amazon Redshiftの成功行ファイルのディレクトリ。各Secure Agentマシンのランタイム環境で使用可能なディレクトリパスを指定します。デフォルトでは、データ統合は成功ファイルをディレクトリ<Secure Agent installation directory>/apps/Data_Integration_Server/data/successに書き込みます。
Hosted Agentは成功行ファイルを作成しません。Hosted Agentランタイム環境でタスクを実行するときは[成功ファイルディレクトリ]フィールドを空白のままにします。
エラーファイルのディレクトリ
Amazon Redshiftのエラー行ファイルのディレクトリ。
エラー行ファイルのディレクトリ。各Secure Agentマシンのランタイム環境で使用可能なディレクトリパスを指定します。デフォルトでは、データ統合はエラー行ファイルをディレクトリ<Secure Agent installation directory>/apps/Data_Integration_Server/data/errorに書き込みます。
デフォルトのエラーファイルディレクトリを指定するとき、[スケジュール]タブからエラーファイルをダウンロードすることができます。
エラーファイルディレクトリがデフォルトのエラーディレクトリ以外の場合、[スケジュール]タブからエラーファイルをダウンロードすることはできません。エラーファイルを見付けるには、指定されたディレクトリに移動する必要があります。
Hosted Agentはエラー行ファイルを作成しません。Hosted Agentランタイム環境でタスクを実行するときは[エラーファイルディレクトリ]フィールドを空白のままにします。