マッピングのAmazon S3 V2オブジェクト

マッピングでのAmazon S3 V2ソース

マッピングのAmazon S3 V2ターゲット

Amazon S3 V2ルックアップ

ファイル形式オプション

Deltaファイル

• •データが格納されるParquetファイル。
• •メタデータとデータ変更ログが格納されるJSONファイル。
データを変更するそれぞれのトランザクションは、新しいJSONファイルになります。JSONファイルは、_delta_logディレクトリに保存されます。

• •SQL ELTモードのマッピング、またはSQL ELTの最適化が有効なマッピングタスクでは、Deltaファイルの読み取りと書き込みを行うことはできません。
• •ソースパーティション化またはターゲットパーティション化は、Deltaファイルの読み取り時、またはデルタ・ファイルへの書き込み時には使用できません。
• •Deltaファイルから読み取りを行ってメタデータを編集する場合は、データ型を変更しないようにしてください。そうしないと、マッピングが失敗します。変更できるのはデータ型の精度のみです。
• • ［Delta］形式タイプを選択し、［スキーマソース］形式オプションの値に［スキーマファイルからインポートする］を選択した場合は、JSON形式のスキーマファイルのみをアップロードすることができます。
次のサンプルに、Deltaファイルのスキーマファイルを示します。
{"type": "struct","fields": [{"name": "c_custkey","type": "integer","nullable": true,"metadata": {}},{"name": "c_name","type": "string","nullable": true,"metadata": {}},{"name": "c_address","type": "string","nullable": true,"metadata": {}},{"name": "c_comment","type": "string","nullable": true,"metadata": {}}]}
• •Deltaファイルのメタデータが変更された場合、現在のフォルダパスまたはバケット内の同じDeltaファイルにデータを書き込むことはできません。別のパス名またはバケット名を指定する必要があります。

形式オプションの設定に関するルールとガイドライン

• •JSON形式は、詳細モードのマッピングにのみ使用できます。
• •マッピングを作成し、［形式オプション］タブをクリックしなかった場合、Secure Agentはデフォルトの［入力形式］を［なし］と見なします。
• •Avro、JSON、ORC、またはParquetの形式タイプを選択し、［スキーマソース］形式オプションの値に［データファイルから読み取る］を選択した場合、区切り文字、エスケープ文字、および修飾子の各オプションを設定することはできません。
• •［入力形式］でAvro、JSON、ORC、またはParquetを選択し、［スキーマソース］形式オプションの値に［スキーマファイルからインポートする］を選択した場合、［スキーマファイル］プロパティフィールドでスキーマファイルのアップロードのみを行えます。区切り文字、エスケープ文字、および修飾子の各オプションを設定することはできません。
• • フラット形式タイプを選択し、［スキーマソース］形式オプションの値に［スキーマファイルからインポートする］を選択した場合、JSON形式でスキーマファイルのみをアップロードできます。
次のサンプルは、フラットファイルのスキーマファイルを示しています。
{"Columns":[{"Name":"f_varchar","Type":"string","Precision":"256","Scale":"0"},{"Name":"f_char","Type":"string","Precision":"256","Scale":"0"},{"Name":"f_smallint","Type":"string","Precision":"256","Scale":"0"},{"Name":"f_integer","Type":"string","Precision":"256","Scale":"0"},{"Name":"f_bigint","Type":"string","Precision":"256","Scale":"0"},{"Name":"f_decimal_default","Type":"string","Precision":"256","Scale":"0"},{"Name":"f_real","Type":"string","Precision":"256","Scale":"0"},{"Name":"f_double_precision","Type":"string","Precision":"256","Scale":"0"},{"Name":"f_boolean","Type":"string","Precision":"256","Scale":"0"},{"Name":"f_date","Type":"string","Precision":"256","Scale":"0"},{"Name":"f_timestamp","Type":"string","Precision":"256","Scale":"0"}]}
• •次の例外を避けるために、選択するAvro、JSON、ORC、またはParquetの形式タイプに適した［形式オプション］を設定します。
invalid character encapsulated
• •Amazon S3 V2はこの機能をサポートしていないため、形式オプションで［複数行のJSONファイルの読み取り］チェックボックスを選択することはできません。
• •ソースカラムにParquet-datetimeデータ型の値があるAmazon S3 V2ソースでマッピングを実行する際に、完全なSQL ELTの最適化が有効になっていない場合は、ターゲットにマッピングされるタイムスタンプ値がUTC形式で表示されません。

ターゲットの指定

1マッピングでターゲットトランスフォーメーションを選択します。
2［受信フィールド］タブで、ターゲットに含めるフィールドを指定するフィールドルールを設定します。
3ターゲットを指定するには、［ターゲット］タブをクリックします。
4ターゲット接続を選択します。
5ターゲットタイプとして［単一オブジェクト］または［パラメータ］を選択します。
6ターゲットオブジェクトまたはパラメータを指定します。.csvターゲットファイル名を指定する必要があります。
• - 実行時にターゲットファイルを作成するには、Accounts.csvのように、拡張子を含めてターゲットファイルの名前を入力します。
7ファイルの形式オプションを設定する場合は、［形式オプション］をクリックし、［OK］をクリックします。
8［選択］をクリックしてターゲットオブジェクトを選択します。既存のターゲットオブジェクトを選択するか、実行時に新しいターゲットオブジェクトを作成し、オブジェクト名を指定することができます。
次の図は、［ターゲットオブジェクト］ボックスを示しています。

9必要に応じて、ターゲットの詳細プロパティを指定します。

ターゲットの作成に関するルールとガイドライン

• •ターゲット名に英数字を含めることはできません。ファイル名では、ピリオド（.）、アンダースコア（_）、アットマーク（@）、ドル記号（$）、パーセント記号（%）のみを特殊文字として使用できます。
• •［ターゲットの作成］を使用してAvro、ORC、またはParquetファイルを作成し、ターゲットディレクトリにコロン（:）を含むファイル名がある場合、マッピングは失敗します。
• •既存のターゲット名を指定した場合、警告メッセージは表示されません。しかし、Secure Agentにより既存のターゲットが同じファイル名で上書きされます。
• •［ターゲットの作成］オプションを使用してAvro、ORC、またはParquetファイルを書き込む場合、NULLデータ型は指定できません。
• •ソースでJSONファイルの文字列カラムの精度を設定し、［ターゲットの作成］を選択すると、文字列カラムのデフォルトの精度が保持されます。
• •ファイルまたはディレクトリのソースタイプを選択し、［実行時に新規作成］を選択して、マッピングを実行すると、マッピングが成功した場合でも、Tomcatログに次の例外が表示されます。
Internal error.無効なパス要素[Partition]が検出されたため、エラーが発生しました。Informaticaグローバルカスタマサポートにお問い合わせください。
• •Amazon S3ソースを使用して詳細モードでマッピングを実行し、［実行時に新規作成］を選択して新しいターゲットオブジェクトを作成する場合、マッピングは成功しますが、ソースの特殊文字はアンダースコア（_）に置き換えられます。
• •実行時に作成したフラットファイルにデータを書き込んだ場合は、ターゲットフラットファイルの最後に空白行が含まれます。

• •パスを指定する場合、Secure Agentはこのプロパティで指定したパスおよび［フォルダパス］接続プロパティで指定したバケット内にターゲットオブジェクトを作成します。Secure Agentは次の形式でターゲットオブジェクトを作成します。<bucket_name>/<path_name>/<target_object_name>。
• •Secure Agentはバケットのみを使用し、［フォルダパス］接続プロパティで指定したパスは無視します。
例えば、パスをfolder1/folder2、ターゲットオブジェクト名をRecordsと指定します。接続プロパティの［フォルダパス］で<bucket_name>/folder3と指定します。Secure Agentは次の場所にターゲットオブジェクトを作成します。<bucket_name>/folder1/folder2/Records。
• •パスを指定していない場合、Secure Agentは、次の形式で［フォルダパス］接続プロパティで指定したバケット内にターゲットオブジェクト名を作成します。<bucket_name>/<target_object_name>。
例えば、パスを指定せず、ターゲットオブジェクト名にRecordsを指定すると、Secure Agentは、次の形式で［フォルダパス］接続プロパティで指定したバケット内にターゲットオブジェクトを作成します。<bucket_name>/Records。
• •パスにバケット名は指定しないでください。
• - マッピングの場合、パスにバケット名を指定すると、バケット名はフォルダパス内のフォルダと見なされます。例えば、パスを<bucket_name>/<path_name>のように指定した場合、<bucket_name>はフォルダと見なされます。
• - 詳細モードのマッピングの場合、パスにバケット名を指定すると、バケット名は無視されます。

Amazon S3 V2のパラメータ化

• •パラメータ化されたソースとターゲット
• •［実行時にパラメータのオーバーライドを許可する］チェックボックスが選択されている
• •マッピングタスクの作成中にソースオブジェクトがフォルダ内で選択されている

タイムスタンプを使用したパラメータ化

パラメータファイルを使用したパラメータ化

1. 1Amazon S3 V2ターゲットオブジェクトを作成します。
2. 2［ターゲットの作成］オプションで、［ターゲットファイル名］の値を$p1、［ターゲットオブジェクトパス］の値を$p2に指定します。
3. 3ターゲットオブジェクト名とターゲットオブジェクトパスに追加したパラメータを、パラメータファイルで定義します。
以下に例を示します。
$p1=filename
$p2=path
4. 4パラメータファイルを次の場所に配置します。
<Informatica Cloud Secure Agent\apps\Data_Integration_Server\data\userparameters>
5. 5マッピングタスクの［ランタイムオプション］タブでパラメータファイル名を指定します。
6. 6マッピングタスクを保存して実行します。

詳細モードのマッピングに関するルールとガイドライン

• •詳細モードのマッピングを実行するときに、次の形式のフォルダがターゲットで作成され、そのフォルダ内に複数のターゲットファイルが生成されます: <target_foldername>.<file_extension>。
• •詳細モードのマッピングでデータをAmazon S3ファイルに書き込むときに、ファイルがフォルダに置き換えられ、フォルダ内にターゲットファイルが生成されます。同じAmazon S3ファイルを参照する別の詳細モードのマッピングを作成すると、ファイルが見つからず、次のエラーメッセージが発生してマッピングが失敗します。
Operation failed: Index: 0, Size: 0.
• •ファイルから読み取るように読み取り操作を設定する場合は、ファイル名の先頭の文字を_または.以外にする必要があります。
• •ルックアップトランスフォーメーションを設定して複数一致時にエラーを報告するように［エラーを報告］オプションを選択した場合、不一致カラムのデータはエラーメッセージが表示されずにターゲットに書き込まれます。
• •JSONファイルからデータを読み取る際、行のいずれかに不適切なBoolean値が含まれていた場合、すべての行が拒否され、NULL値がターゲットに書き込まれます。
• •Unicode文字を含むJSONファイルからデータを読み取ると、データの不整合が発生する場合があります。
• •Amazon S3 V2コネクタがサポートしていないデータ型を選択すると、マッピングが失敗するか、すべての行が拒否される可能性があります。
• •メタデータ解決用のJSONサンプルデータファイルの一部として"{"Elements":[]}"などの空の配列要素がある場合、JSONパーサーは次のエラーで失敗します。
[SDK_APP_COM_20000] error [Array must contain at least 1 element for projection].
メタデータ解決のための空の配列なしで、スキーマ全体をサンプルデータ行として入力します。［スキーマファイルからインポートする］オプションを使用して、このファイルをアップロードできます。
• • メタデータ解決用のJSONサンプルデータファイルの一部として"{"Elements":[]}"などの空の構造体要素がある場合、JSONパーサーは次のエラーで失敗します。
Struct must contain at least one key :: fields
メタデータ解決のための空の構造体なしで、スキーマ全体をサンプルデータ行として提供します。［スキーマファイルからインポートする］オプションを使用して、このファイルをアップロードできます。
• •JSONパーサーは、配列の最初の値を使用して、配列要素のデータ型を解釈します。例えば、最初の値が整数で、その後に長い値が含まれている場合、メタデータは整数として解決されます。実行時に、長整数型の値がDTMバッファに収まらないため、行全体がドロップされます。
メタデータの解決に必要なデータ型またはサブフィールドを含む最初の配列または構造体要素を含むサンプルデータ行として、スキーマ全体を入力します。［スキーマファイルからインポートする］オプションを使用して、このファイルをアップロードできます。
• •JSONファイルからのメタデータの解釈に使用される最初の行サイズには2MBの制限があります。データファイルの最初の行が2MBより大きい場合、JSONパーサーは失敗します。
構造体要素と配列要素から追加のタグを削除して、サンプルデータの行サイズを減らします。JSONパーサーは、構造体要素と配列要素内の最初の要素のみを必要とします。最初の要素でメタデータの解決に必要なデータ型またはサブフィールドを指定します。［スキーマファイルからインポートする］オプションを使用して、このファイルをアップロードできます。
• •ステージングディレクトリのソースとターゲットの詳細プロパティは適用されません。ただし、詳細設定のAmazon S3のステージングディレクトリを指定する必要があります。詳細については、「Administrator」を参照してください。
• •修飾子モードを［最小］に設定してエスケープ文字を使用すると、ターゲットでは文字はエスケープされず、引用符で囲まれます。修飾子モードを［すべて］に設定します。
• •修飾子モードを［すべて］に設定し、修飾子の値を指定しない場合、\0（NUL）が修飾子と見なされます。
• •フラットソースファイルをパラメータ化すると、FileNameフィールドがソースフィールドに表示されます。回避策として、ターゲットの受信フィールドにルールを追加し、FileNameフィールドを除外します。
• •テーブル名またはスキーマ名にバックスラッシュ（/）が含まれている場合、マッピングは失敗します。
• •ソースから読み取たJSONデータが、スキーマ定義ファイルで定義されたソーススキーマと一致しない場合、ターゲットに書き込まれたデータは破損した状態で表示されます。

詳細モードのマッピングの例

1データ統合で、［新規］ > ［マッピング］ > ［マッピング］をクリックします。
2Mapping Designerで、［詳細に切り替え］をクリックします。
次の図は、Mapping Designerの［詳細に切り替え］ボタンを示しています。
3［詳細に切り替え］ダイアログボックスで、［詳細に切り替え］をクリックします。
Mapping Designerでマッピングキャンバスが更新され、詳細モードで使用できるトランスフォーメーションと関数が表示されます。
4マッピングの名前、場所、説明を入力します。
5ソーストランスフォーメーションの全般プロパティで、名前と説明を指定します。
6［ソース］タブで、次の手順を実行して、ソースからデータを読み込むためのソース詳細を入力します。
1. a［接続］フィールドで、必要なソース接続を選択します。
2. b［ソースタイプ］フィールドで、ソースのタイプを選択します。
3. c［オブジェクト］フィールドで、必要なオブジェクトを選択します。
4. d［詳細プロパティ］セクションで、適切な値を入力します。
7［フィールド］タブで、ソースフィールドをターゲットフィールドにマッピングします。
8ターゲットトランスフォーメーションの全般プロパティで、名前と説明を指定します。
9［ターゲット］タブで、次の手順を実行して、Amazon S3ターゲットにデータを書き込むためのターゲット詳細を入力します。
1. a［接続］フィールドで、Amazon S3 V2ターゲット接続を選択します。
2. b［ターゲットタイプ］フィールドで、ターゲットのタイプを選択します。
3. c［オブジェクト］フィールドで、必要なオブジェクトを選択します。
4. d［操作］フィールドで、必要な操作を選択します。
5. e［詳細プロパティ］セクションで、詳細プロパティに適切な値を指定します。
10ソースおよびターゲットをマッピングします。
11［保存］ > ［実行］をクリックして、マッピングを検証します。
［監視］で、タスクの実行後にログのステータスを監視できます。