マッピングのAmazon Redshift V2オブジェクト

• •マッピングで簡易フィルタを使用する場合は、YYYY-MM-DD HH24:MI:SS.MS形式でフィルタ条件を指定する必要があります。詳細フィルタを使用する場合は、date_time_fix.f_timestamp < to_date('2012-05-24 09:13:57','YYYY-MM-DD HH24:MI:SS.MS')形式でフィルタ条件を指定する必要があります。
• •ソースまたはターゲットのクエリを定義し、テーブル名またはカラム名に特殊文字が含まれている場合は、テーブル名またはカラム名を二重引用符で囲む必要があります。
• •ソースカラム名の特殊文字をターゲットに書き込むには、マッピングでターゲットトランスフォーメーションを設定して、実行時に新しいターゲットを作成します。［実行時に新規作成］ウィンドウで［ソースフィールド名をターゲットでそのまま使用］プロパティを有効にします。既存のオブジェクトを選択した場合、このチェックボックスは表示されません。この機能は、詳細モードのマッピングには適用されません。
• •Amazon Redshiftテーブルまたはスキーマ名にスラッシュ（/）が含まれている場合、マッピングは失敗します。
• •Booleanデータ型を含むAmazon Redshift V2オブジェクトを選択してデータをプレビューすると、Booleanデータ型の値が切り詰められて最初の文字のみが表示されます。
• •フィールドに日付または日時のデータ型が含まれている場合、［データプレビュー］タブには、+4時間のオフセットでフィールド値が表示されます。
• •詳細モードのマッピングを使用してデータを読み書きする場合、ソーステーブル名にUnicode文字または特殊文字を含めることはできません。

マッピングのAmazon Redshift V2ソース

データの読み込みを行う場合のルールおよびガイドライン

直接読み取りモード

• •直接読み取りモードでターゲットに書き込まれるデータの順序は、Amazon S3ステージング後に書き込まれるデータの順序とは異なります。
• •精度の値は、realデータ型の場合は6桁の精度に四捨五入され、doubleデータ型の場合は14桁の精度に四捨五入されます。
• •charおよびvarcharデータ型のNULL値は、引用符なしでターゲットに書き込まれます。
• •Charデータ型カラムの末尾のスペースは、ターゲットの末尾のスペースとともに表示されます。これに対して、ステージングモードでソースを設定すると、末尾のスペースが切り詰められます。

IS NULLまたはIS NOT NULL演算子を使用したフィルタ

SQLクエリの設定のルールおよびガイドライン

• •ソースタイプにクエリを選択する場合は、JVMオプションにフラグprecedenceToSQLOverrideOverCustomQuery=Trueを設定することで、SQLクエリをオーバーライドしてカスタムクエリより優先することができます。オーバーライドされたSQLクエリのカラム数がカスタムクエリと同じであることを確認してください。
• •詳細モードでマッピングを実行し、alldatatypesを使用してSQLクエリを定義すると、Booleanデータ型のターゲットカラムがNULLとして表示されます。
• •詳細モードのマッピングでSQLクエリの個々のカラム（ただし、すべてのカラムではない）を選択すると、値がNULLとしてRedshiftターゲットに書き込まれます。
• •マッピングでパラメータ化されたクエリソースタイプを使用して複数のテーブルから読み取る場合、同じカラム名を持つ1つ以上のテーブルに対して結合を設定すると、マッピングは失敗します。
例えば、SALES.PUBLICスキーマの一部である2つのテーブル、EMPLOYEEとDEPARTMENTの間の完全な外部結合を含む次のSQLクエリを見てみます。2つのカラムは同じCITYという名前です。
SELECT EMP_ID, NAME, CITY, DEPT_ID, DEPT_NAME, CITY FROM SALES.PUBLIC.EMPLOYEE
FULL OUTER JOIN SALES.PUBLIC.DEPARTMENT ON EMP_ID = DEPT_ID
競合するカラム名を区別するには、テーブルを結合するときにデータベースが参照できるエイリアスを追加します。
SELECT e.EMP_ID, e.NAME, e.CITY as ecity,d.DEPT_ID, d.DEPT_NAME, d.CITY as dcity FROM SALES.PUBLIC.EMPLOYEE e
FULL OUTER JOIN SALES.PUBLIC.DEPARTMENT d ON e.EMP_ID = d.DEPT_ID

複数のソースオブジェクトの追加

1ソーストランスフォーメーションで、［ソースタイプ］を［複数のオブジェクト］としてクリックします。
2［アクション］メニューから、［ソースオブジェクトの追加］をクリックします。

3表示されたリストから、追加するソースオブジェクトを選択します。

4［OK］をクリックします。
5［関連オブジェクトのアクション］メニューから、［詳細リレーション］を選択します。
6［詳細リレーション］ウィンドウで、［オブジェクトの追加］をクリックしてさらにオブジェクトを追加できます。

7［OK］をクリックします。
8独自の条件を設定するか、クエリを指定して、テーブル間のリレーションを定義します。

注: 結合式を設定するときは、フィールドを選択して、結合条件またはクエリ構文を定義します。
9［OK］をクリックします。
次の図は、Amazon Redshift V2テーブル間に定義された詳細結合条件の例を示しています。

複数のソースオブジェクトの追加のルールおよびガイドライン

• •詳細リレーションオプションを使用する場合、パーティション化を設定することはできません。
• •テーブル名とカラム名に予約語を使用する場合、テーブル名を二重引用符で囲む必要があります。
• •複数のソースオブジェクトを追加する場合、自己結合を使用することはできません。
• •詳細リレーションのカラム名に特殊文字を使用すると、クエリが正しく形成されず、マッピングタスクが失敗します。
• •［詳細リレーション］ウィンドウで［オブジェクトの追加］をクリックしてオブジェクトをさらに追加すると、テーブルがロードされないか、ロードに時間がかかる場合があります。その後で、オブジェクトをもう一度インポートしてください。
• •関連するソースオブジェクトを追加するときにスキーマを検索することはできません。下にスクロールして、スキーマを手動で選択する必要があります。
• •完全外部結合条件は、=、,、およびAND演算子でのみ使用できます。
• •詳細リレーションオプションを使用し、スキーマ名のオーバーライドを使用して結合クエリを指定すると、マッピングは失敗します。マッピングが失敗して、次の結合クエリが表示されます。
• - インナージョイン
• - 左外部結合
• - 右外部結合
• - 完全外部結合
• - クロス結合
• •スキーマ名を上書きして、関連するソースオブジェクトに詳細フィルタを設定する場合は、フィルタ条件でスキーマ名を指定する必要があります。フィルタ条件には、次の構文を使用します。
public.alldatatypes_src.f_smallint=1
• •スキーマ名をオーバーライドして、関連するソースオブジェクトに詳細フィルタを設定すると、Secure Agentは、関連するソースオブジェクトではなく、親オブジェクトにのみ詳細フィルタを適用します。
• •プライマリキーと外部キーのリレーションを持つ親オブジェクトと子オブジェクトを選択し、関連オブジェクトの外部キーがテーブルのプライマリキーでもある場合、ターゲットの作成時にマッピングタスクが失敗します。
• •［複数のオブジェクト］ソースタイプを選択し、empなどのソースオブジェクトを追加し、emp.idとdept.d_idなどの異なるカラムでプライマリキーと外部キーのリレーションを定義すると、マッピングが失敗して、次のエラーが表示されます。
[FATAL] Unload/Copy command failed with error: Invalid operation: column emp.d_id does not exist.
［関連オブジェクトの選択］リストには、empテーブルにd_idカラムがない場合でもdept関連オブジェクトの結合条件がemp.d_id=dept.d_idとして表示されます。
• •［複数のオブジェクト］ソースタイプを選択する場合は、選択したテーブル名にピリオド（.）が含まれていないことを確認してください。

マッピングでのAmazon Redshift V2ターゲット

• •ステージングディレクトリの場所
• •バッチサイズ
• •S3のファイル整合性のためのWaitTime（秒）
• •S3クライアント側の暗号化
• •成功ファイルディレクトリ
• •エラーファイルのディレクトリ
• •TransferManagerスレッドプールサイズ
• •書き込み時にレコードの順序を維持
• •最小アップロードパートサイズ
• •バッチごとのファイル数
• •リカバリスキーマ名

ターゲットの作成に関するルールとガイドライン

• •ターゲットを作成する際に、ソーステーブルにTextデータ型のカラムが含まれていると、次のようなエラーメッセージが表示されます。
Unsupported datatype - 'text' for column
'LONGTXTAREA__C'
この場合、ソーストランスフォーメーションでソースカラムのデータ型を編集する必要があります。
• •ランタイム時にターゲットをパラメータ化することはできません。
• •ターゲットを作成して大文字または大文字と小文字が混在するアルファベットでテーブル名またはカラム名を指定すると、Secure Agentでターゲットのテーブル名またはカラム名が小文字のアルファベットに変換され、マッピングタスクが正常に実行されます。ただし、Tomcatログに次のエラーメッセージが表示されます。
An unexpected exception occured while fetching metadata:[The following object is not found].
• •Timeデータ型のターゲットを作成すると、新しいターゲットのデータ型はTimestampになります。
• •実行前SQLまたは実行後SQLクエリを使用してvaccuumコマンドでマッピングタスクを実行すると、マッピングは失敗します。
• •ターゲットに書き込みを行い、ターゲット接続の［DBuserの自動作成］が有効になっている場合、既存のユーザーによって作成されたテーブルを新しいユーザーが切り詰めることはできません。

ターゲットクエリをオーバーライドするためのルールとガイドライン

• •詳細ターゲットプロパティの［ソース行の扱い］プロパティで［更新］を選択します。
• •更新/挿入操作にオーバーライドターゲットクエリを使用することはできません。
• • オーバーライドターゲットクエリを次の形式で指定します。
UPDATE <Target Schema Name here>.<Target TABLE NAME here>
SET <column1> = {{TU}}.<column1>,
<column2> = {{TU}}.<column2>,
<column> = {{TU}}.<column>
FROM {{TU}}
WHERE <Target Schema Name>.<Target TABLE NAME here> .<update column1> = {{TU}}. <update column1>
AND <Target Schema Name>.<Target TABLE NAME here> .<update column2> = {{TU}}. <update column2>
AND … <Target Schema Name>.<Target TABLE NAME here> .<update column> = {{TU}}. <update column>

• •:TUのカラム名はターゲットテーブルのカラム名と一致している必要があります。
• •WHEREカラムはこのクエリで必須です。
• •オーバーライドターゲットクエリステートメントのFROMカラムで、左、右、または完全外部結合を使用することはできません。
• • クエリ内のすべてのカラム名は修飾名である必要があり、テーブル名とスキーマ名はカラム名に関連付けられている必要があります。
注: SETカラムの場合、Amazon Redshiftではテーブルを含むカラム名を使用できません。SETカラムにはカラム名のみを含める必要があります。
• •Amazon Redshift V2コネクタは、:TUを一時テーブル名に置き換え、更新クエリを検証しないため、有効なSQL構文でオーバーライドターゲットクエリを指定する必要があります。
• •オーバーライドターゲットクエリを使用して、カラムのマッピングの順序を変更することはできません。
• •更新操作に複数のオーバーライドターゲットクエリを指定することはできません。
• •オーバーライドターゲットクエリオプションを使用する場合は、［スキーマ名］フィールドと［ターゲットテーブル名］フィールドからスキーマ名とテーブル名のオーバーライドを追加で設定しないでください。

マッピングのAmazon Redshift V2ルックアップ

• •キャッシュされた状態での接続
• •キャッシュされていない状態での接続。マッピングのみに適用されます。
• •キャッシュされた状態での未接続
• •動的ルックアップキャッシュ。マッピングのみに適用されます。

接続されていないルックアップトランスフォーメーション

接続されていないルックアップトランスフォーメーションの設定

1マッピングにルックアップトランスフォーメーションを追加します。
2ルックアップトランスフォーメーションの［全般］タブで、［接続されていないルックアップ］オプションを有効にします。

3ルックアップトランスフォーメーションの［受信フィールド］タブで、:LKP式の各引数に対して受信フィールドを作成します。
作成するルックアップ条件それぞれについて、ルックアップトランスフォーメーションに受信フィールドを追加します。

4［ルックアップオブジェクト］タブでルックアップオブジェクトをインポートします。

未接続ルックアップで［複数一致］プロパティを値［すべての行を返す］に設定することはできません。
5戻り値を指定します。
ルックアップトランスフォーメーションに複数の入力値を渡し、データのカラムを1つ返すことができます。データ統合は、ルックアップクエリから1つの値を返すことができます。戻りフィールドを使用して、戻り値を指定します。

6別のトランスフォーメーションのルックアップ式を設定します。
式トランスフォーメーションを使用するトランスフォーメーションの:LKP式から、未接続のルックアップトランスフォーメーションの入力値を指定します。引数は、ルックアップ条件に使用されているルックアップトランスフォーメーションのローカル入力フィールドと一致するローカル入力ポートです。

7フィールドをターゲットにマッピングします。

ルックアップキャッシングの有効化

ルックアップキャッシュの永続性

ルックアップキャッシュの永続性を使用して、ルックアップキャッシュファイルを次回再利用するために保存します。データ統合は、キャッシュを使用するように設定されているルックアップトランスフォーメーションを処理します。

永続的なルックアップキャッシュファイルに使用するファイル名のプレフィックスをファイル名プレフィックスのキャッシュフィールドで指定できます。

ルックアップテーブルが変更されることがある場合は、ルックアップソースからの再キャッシュプロパティを有効にしてルックアップキャッシュを再作成します。

動的ルックアップキャッシュ

動的ルックアップキャッシュを使用してルックアップキャッシュがターゲットに同期し続けるようにします。デフォルトでは、動的ルックアップキャッシュは無効で、キャッシュは静的になっています。

キャッシュが静的である場合、ルックアップキャッシュ内のデータは、マッピングタスクの実行時に変更されません。

タスクがキャッシュを複数回使用する場合、タスクは同じデータを使用します。キャッシュが動的である場合、タスクはタスク内のアクションに基づいてキャッシュを更新します。そのため、タスクがルックアップを複数回使用する場合、ダウンストリームトランスフォーメーションでは更新されたデータが使用されます。

ルックアップトランスフォーメーションの設定のルールおよびガイドライン

• •詳細モードでは、マッピングに接続されていないルックアップは使用できません。
• •詳細モードでは、マッピングの動的ルックアップ キャッシュは設定できません。
• •［複数一致］プロパティが［エラーを報告］に設定されているルックアップトランスフォーメーションは、詳細モードのマッピングでエラーメッセージが表示されることなく正常に実行されます。
• •キャッシュされていないルックアップにSQLクエリプロパティを使用することはできません。
• •キャッシュされていないルックアップでIS NULL演算子とIS NOT NULL演算子を使用するには、Secure AgentのプロパティのDTMタイプでJVMオプションとして-DENABLE_NULL_FLAG_FOR_UNCACHED_LOOKUP=trueプロパティを設定する必要があります。使用できる演算子は、= と ! = のみです。他の演算子を使用した場合、タスクは失敗します。

Oracle CDCソースを使用したマッピングタスクの例

1データ統合で、［新規］ > ［マッピング］ > ［作成］をクリックします。
［新しいマッピング］ダイアログボックスが表示されます。
2 マッピングの名前と説明を入力します。
3ソーストランスフォーメーションの全般プロパティで、名前と説明を指定します。
4［ソース］タブで、設定済みのOracle CDC接続を選択し、必要なソースプロパティを指定します。
5ターゲットトランスフォーメーションの全般プロパティで、名前と説明を指定します。
6［ターゲット］タブで、次の手順を実行してターゲットプロパティを設定します。
1. a［接続］フィールドで、Amazon Redshift V2接続を選択します。
2. b［ターゲットの種類］フィールドで、ターゲットオブジェクトのタイプを選択します。
3. c［オブジェクト］フィールドで、必要なターゲットオブジェクトを選択します。
4. d［操作］フィールドで、ソースレコードの挿入、更新、削除が正しく処理されるように［Data Driven］を選択します。
5. e［データ依存条件］フィールドは空白のままにします。
6. f［詳細プロパティ］セクションで、必要なターゲットプロパティの値を指定します。［書き込み時にレコードの順序を維持］チェックボックスをオンにし、［リカバリスキーマ名］プロパティの値を入力する必要があります。
7［フィールドマッピング］タブで、受信フィールドをターゲットフィールドにマップします。手動でマップすることも、フィールド名に基づいて自動的にマップすることもできます。
8［アクション］メニューで、［新しいマッピングタスク］をクリックします。
［新しいマッピングタスク］ページが表示されます。
9［定義］タブで、タスク名を入力し、設定済みのマッピングを選択します。
10［CDCランタイム］タブで、必要なプロパティを指定します。
CDCランタイムプロパティの詳細については、Oracle CDCコネクタのヘルプを参照してください。
11［ランタイムオプション］タブの［詳細セッションプロパティ］セクションで、次のプロパティを指定します。
1. aメニューから［ファイル終端でコミット］を選択し、プロパティを無効のままにします。
2. b［コミットタイプ］フィールドで［ソース］を選択します。
3. c［リカバリストラテジ］を選択し、プロパティの値に［最終チェックポイントから再開］を設定します。
12［保存］ > ［実行］をクリックして、マッピングを保存して実行します。
スケジュールを作成して、手動で操作しなくてもマッピングタスクが定期的に実行されるようにすることもできます。マッピングタスクの実行間隔ができるだけ短くなるようにスケジュールを定義できます。

詳細モードのマッピングの例

1データ統合で、［新規］ > ［マッピング］ > ［マッピング］をクリックします。
2Mapping Designerで、［詳細に切り替え］をクリックします。
次の図は、Mapping Designerの［詳細に切り替え］ボタンを示しています。
3［詳細に切り替え］ダイアログボックスで、［詳細に切り替え］をクリックします。
Mapping Designerでマッピングキャンバスが更新され、詳細モードで使用できるトランスフォーメーションと関数が表示されます。
4マッピングの名前、場所、説明を入力します。
5ソーストランスフォーメーションを追加して、全般プロパティで名前と説明を指定します。
6Amazon S3ソースからデータを読み取るには、[ソース]タブで、ソース詳細を指定する次の手順を実行します。
1. a［接続］フィールドで、Amazon S3 V2ソース接続を選択します。
2. b［ソースタイプ］フィールドで、ソースのタイプを選択します。
3. c［オブジェクト］フィールドで、必要なオブジェクトを選択します。
4. d[詳細プロパティ]セクションで、適切な値を指定します。
7［フィールド］タブで、Amazon S3ソースフィールドをターゲットフィールドにマップします。
8ターゲットトランスフォーメーションの全般プロパティで、名前と説明を指定します。
9[ターゲット]タブで次の手順を実行して、Amazon Redshiftターゲットにデータを書き込むためのターゲットの詳細を指定します。
1. a［接続］フィールドで、Amazon Redshift V2ターゲット接続を選択します。
2. b［ターゲットタイプ］フィールドで、ターゲットのタイプを選択します。
3. c［オブジェクト］フィールドで、必要なオブジェクトを選択します。
4. d［操作］フィールドで、必要な操作を選択します。
5. e［詳細プロパティ］セクションで、詳細ターゲットプロパティに適切な値を指定します。
10Amazon S3ソースおよびAmazon Redshiftターゲットをマップします。
11［保存］ > ［実行］をクリックして、マッピングを検証します。
［監視］で、タスクの実行後にログのステータスを監視できます。

SQLトランスフォーメーション

ストアドプロシージャ

• •ストアドプロシージャから入力されたフィールドがcharまたはvarcharデータ型の場合、SQLトランスフォーメーションは、データベースエンドポイントで定義された精度に関係なく、これらのフィールドにデフォルトの精度256を適用します。
• •ストアドプロシージャで使用されるテーブルと同じカラム名をソーステーブルで使用すると、マッピングタスクは失敗します。
• •例えば、ストアドプロシージャのカラムに対してnumeric(10,2)などの数値データ型を指定すると、マッピングタスクは失敗します。
• •マッピングでストアドプロシージャを作成する場合、出力ポートにrefcursorデータ型を含めることはできません。
• •ストアドプロシージャに指定した入力パラメータが異なる場合でも、同じ名前の複数のストアドプロシージャから読み取ることはできません。

SQLクエリ

• •保存されたクエリタイプをSQLトランスフォーメーションで使用することはできません。
• •入力したクエリでは、1つのクエリのみを指定できます。複数のクエリを指定しないようにしてください。
• •入力したクエリでは、COMMIT、ROLLBACK、およびEXPLAIN PLAN文を使用しないでください。

マッピングに対する動的スキーマ処理

• •フィールドの追加。
• •フィールドのデータ型、精度、またはスケールの更新。

マッピングの動的スキーマ処理のルールとガイドライン

• •データ型、精度、およびスケールの更新は適用されません。
• •Varcharデータ型の精度の低下を伴うスキーマ更新は適用されません。
• •ターゲットテーブルのカラムで特殊文字を使用しており、［変更して変更を適用する］を選択した場合、エラーが発生してマッピングタスクは失敗します。
• •ソーストランスフォーメーションのフィールドマッピングで完全にパラメータ化されたフィルタを使用しており、［動的］オプションを選択した場合、［ランタイムオプション］ページには、スキーマを更新するためのオプションは表示されません。
• •ソーストランスフォーメーションでSQLオーバーライドを使用しており、［変更を変更して適用する］を選択した場合、エラーが発生してマッピングタスクは失敗します。
• •ソースにプライマリキーとしてフィールドを追加し、［変更して変更を適用する］を選択した場合、マッピングタスクが正常に実行され、フィールドがターゲットにプロパゲートされます。ただし、プライマリキーは考慮されません。
• •ソーステーブル名またはスキーマ名をオーバーライドして、［変更して変更を適用する］スキーマ変更処理オプションを選択し、オーバーライドされたソーステーブルに新しいフィールドが追加されると、マッピングは正常に実行されます。ただし、Secure Agentは、オーバーライドされたソーステーブルから新しく追加されたフィールドを取得しません。

キー範囲パーティションの設定

1［ソースのプロパティ］で、［パーティション］タブをクリックします。
2リストから必要な［パーティションキー］を選択します。
3［新しいキー範囲の追加］をクリックしてパーティションを追加します。
4［開始範囲］および［終了範囲］を指定します。

書き込み操作の一括処理

1. 1Administratorで、［ランタイム環境］タブにリストされているSecure Agentを選択します。
2. 2［編集］をクリックします。
3. 3［システム構成の詳細］セクションで、サービスとして［データ統合サービス］を選択し、タイプとして［DTM］を選択します。
4. 4JVMOption1プロパティを編集し、-DENABLE_WRITER_BULK_PROCESSING=trueと入力します。
5. 5［保存］をクリックします。

マッピングのステージングパフォーマンスの最適化

• •SQL ELTの最適化が有効になっているマッピングを実行すると、マッピングはSQL ELTの最適化を使用せずに実行されます。
• •読み取り操作の場合、ステージングはソーストランスフォーメーションにのみ適用され、ルックアップトランスフォーメーションには適用されません。
• •データにタイムゾーン付きのTimestampデータ型が含まれている場合、ローカルフラットファイルでデータをステージングせずにジョブが実行されます。
• •マッピングにソースとしてOracle CDCが含まれ、ターゲットとしてAmazon Redshiftが含まれている場合、ローカルフラットファイルでデータをステージングせずにジョブが実行されます。
• •CR文字またはLF文字を含むソースから複数行のデータを読み取るマッピングを実行すると、カラムデータが複数の行に分割されます。

ステージングパフォーマンスを最適化するためのAmazon Redshift Connectorの有効化

1. 1Administratorで、［ランタイム環境］をクリックします。
2. 2このプロパティを設定するSecure Agentを編集します。
3. 3［システム構成の詳細］セクションで、［データ統合サーバー］に［サービス］を選択し、タイプに［Tomcat］を選択します。
4. 4TomcatプロパティのINFA_DTM_RDR_STAGING_ENABLED_CONNECTORS（読み取り操作用）、INFA_DTM_STAGING_ENABLED_CONNECTORS（書き込み操作用）、およびINFA_DTM_LKP_STAGING_ENABLED_CONNECTORS（Amazon RedshiftコネクタのプラグインIDへのキャッシュされたルックアップ操作用）の値を設定します。
プラグインIDは、次のディレクトリのマニフェストファイルの中にあります: <Secure Agentのインストールディレクトリ>/downloads/<AmazonRedshiftパッケージ>/CCIManifest
次の図は、Secure AgentのDTMでステージングデータに設定する最適化プロパティを示しています。