アプリケーション取り込みとレプリケーションターゲットタイプ- 準備と使用方法

Amazon Redshiftターゲットのガイドライン

ターゲットの準備

使用に関する考慮事項:

• •Amazon Redshiftターゲットテーブルにデータを書き込む前に、アプリケーション取り込みとレプリケーションジョブはデータをAmazon S3バケットにステージングします。アプリケーション取り込みとレプリケーションタスクを設定するときに、バケットの名前を指定する必要があります。取り込みジョブはCOPYコマンドを使用して、Amazon S3バケットからAmazon Redshiftターゲットテーブルにデータをロードします。COPYコマンドの詳細については、Amazon Web Servicesのドキュメントを参照してください。
• •Amazon Redshiftターゲットの接続を定義するときに、アプリケーション取り込みとレプリケーションジョブによってデータをステージングしてAmazon Redshiftターゲットテーブルにロードする、Amazon S3バケットのアクセスキーとシークレットアクセスキーを指定します。
• •ソースからAmazon Redshiftターゲットにデータを取り込むときに、データソースに含まれているデータフィールドまたはデータカラムのうち、プライマリキーとして定義されているものが32を超える場合、アプリケーション取り込みとレプリケーションジョブは失敗します。
• •増分ロードジョブと、初期ロードジョブと増分ロードジョブの組み合わせにより、ターゲット上にINFORMATICA_CDC_RECOVERYという名前のリカバリテーブルが生成され、内部サービス情報が格納されます。リカバリテーブルのデータによって、障害後に再開されたジョブが以前に処理されたデータを再度プロパゲートすることが防止されます。リカバリテーブルは、ターゲットテーブルのスキーマで生成されます。

Amazon S3、Google Cloud Storage、Microsoft Azure Data Lake Storage Gen2、およびOracle Cloud Object Storageターゲットのガイドライン

• •Amazon S3、Google Cloud Storage、Microsoft Azure Data Lake Storage Gen2、またはOracle Cloud Object Storageターゲットに対してアプリケーション取り込みとレプリケーションタスクを設定する場合は、ターゲットに適用されるソースデータを含む出力ファイルの形式として、CSV、Avro、またはParquetを選択できます。
• •Amazon S3ターゲットに書き込む場合、デフォルトの出力タイプとしてParquetが設定された、オープンテーブル形式を選択するオプションがあります。タスクが実行されると、データはターゲットプロパティで指定した名前空間に従ってS3ストレージ内に整理されます。［ウェアハウスベースディレクトリ］は、ターゲットファイルが作成されるS3上のフォルダパスを定義します。［親としての接続ディレクトリ］オプションは、S3で完全なファイルパスを形成するときに、接続からのフォルダパスをウェアハウスベースディレクトリに追加するかどうかを決定します。
• - 有効にした場合、ターゲットファイルは次のディレクトリに保存されます: <S3接続で指定したディレクトリ>/<Warehouse_Base_Directory>/<ファイル>
• - 有効にしない場合、ターゲットファイルは次のディレクトリに直接保存されます: <Warehouse_Base_Directory>/<ファイル>
• •出力ファイル形式として［CSV］を選択した場合、アプリケーション取り込みとレプリケーションは、ソースフィールドごとに次のファイルをターゲットに作成します。
• - フィールドのスキーマを記述するschema.iniファイル。このファイルには、ターゲットの出力ファイルに対するいくつかの設定も含まれています。
• - ソースフィールドに保存されているデータを含む出力ファイル。アプリケーション取り込みとレプリケーションは、日付と時刻が追加されたソースフィールドの名前に基づいて、出力ファイルに名前を付けます。
schema.iniファイルには、対応する出力ファイルの行の一連のカラムが一覧表示されます。次の表で、schema.iniファイルのカラムについて説明します。

カラム	説明
ColNameHeader	ソースデータファイルにカラムヘッダーが含まれているかどうかを示します。
Format	出力ファイルの形式。アプリケーション取り込みとレプリケーションはカンマ（,）を使用してカラムの値を区切ります。
CharacterSet	対応する出力ファイルに使用される文字セット。デフォルトでは、アプリケーション取り込みとレプリケーションはUTF-8文字セットでファイルを生成します。
COL<sequence_number>	ソースフィールドの名前とデータ型。 注: タスクウィザードの［ターゲット］ページの［詳細］で［操作の追加...］プロパティのいずれかを選択した場合、カラムのリストには、操作のタイプ、時間、所有者、またはトランザクションIDのメタデータカラムが含まれます。

注:
schema.iniファイルを編集してはいけません。
• •［Avro］出力フォーマットを選択した場合、Avro形式タイプ、ファイル圧縮タイプ、Avroデータ圧縮タイプ、および各ソーステーブルに対して生成されたAvroスキーマ定義を格納するディレクトリを選択できます。スキーマ定義ファイルの命名パターンは、スキーマ名_テーブル名.txtです。
• •Parquet出力形式を選択した場合、必要に応じて、Parquetがサポートする圧縮タイプを選択できます。
• •Microsoft Azure Data Lake Storage Gen2用に設定されたアプリケーション取り込みとレプリケーションタスクの場合、アプリケーション取り込みとレプリケーションは、空のソースフィールドごとに空のディレクトリをターゲットに作成します。
• •Amazon S3ターゲットについては、接続プロパティでアクセスキーと秘密鍵を指定しない場合、アプリケーション取り込みとレプリケーションはDefaultAWSCredentialsProviderChainクラスによって実装されているデフォルトの資格情報プロバイダチェーンを使用して、AWS資格情報を見つけようとします。詳細については、Amazon Webサービスのドキュメントを参照してください。
• •CSV出力形式を使用する、ターゲット用に設定された増分ロードジョブまたは初期ロードジョブと増分ロードジョブの組み合わせが、ソースのプライマリキーの値を変更した更新操作をプロパゲートする場合、ジョブは関連するターゲット行に対して削除操作を実行してから、同じ行に対して挿入操作を実行することで、ソースオブジェクトに加えられた変更をレプリケートします。削除操作は操作前のイメージをターゲットに書き込み、後続の挿入イメージは操作後のイメージをターゲットに書き込みます。
プライマリキー値を変更しない更新操作の場合、アプリケーション取り込みとレプリケーションジョブは各更新操作を1つの操作として処理し、操作後のイメージのみをターゲットに書き込みます。アプリケーション取り込みとレプリケーションはソースに対して実行された各更新操作を、ターゲットに対する削除操作とそれに続く挿入操作として処理します。
• •Apache Iceberg形式でNUMBER(p,s)データ型をAmazon S3に書き込む場合、NUMBER(p,s)型はApache IcebergのDecimalにマッピングされ、最大精度は38になります。ソースからのNUMBER(p,s)の精度が38を超えると、タスクは失敗します。

Apache Kafkaターゲットのガイドライン

• •アプリケーション取り込みとレプリケーションは、増分ロードジョブのターゲットとして、Apache Kafka、Confluent Kafka、Amazon Managed Streaming for Apache Kafka（MSK）、およびKafka対応Azure Event Hubsをサポートします。これらすべてのKafkaターゲットタイプは、Kafka接続タイプを使用します。
Kafkaターゲットタイプを指定するには、タスク定義またはKafka接続プロパティでKafkaプロデューサプロパティを指定する必要があります。タスクのこれらのプロパティを指定するには、タスクウィザードの［ターゲット］ページの［プロデューサ設定プロパティ］フィールドに、key:valueペアのカンマ区切りのリストを入力します。Kafka接続を使用するすべてのタスクのプロデューサプロパティを指定するには、プロパティのリストを接続プロパティの［追加接続プロパティ］フィールドに入力します。タスクレベルでプロデューサプロパティを定義することにより、特定のタスクの接続レベルのプロパティをオーバーライドできます。プロデューサプロパティの詳細については、Apache Kafka、Confluent Kafka、Amazon MSK、またはKafka用Azure Event Hubsのドキュメントを参照してください。
• • ［AVRO］をKafkaターゲットの出力形式として選択した場合、アプリケーション取り込みとレプリケーションは次の形式の名前で、各テーブルのスキーマ定義ファイルを生成します。
schemaname_tablename.txt
• •ソーススキーマの変更により、増分ロードジョブのターゲットが変更されることが予想される場合は、アプリケーション取り込みとレプリケーションがタイムスタンプを含む一意の名前でAvroスキーマ定義ファイルを再生成します。
schemaname_tablename_YYYYMMDDhhmmss.txt
この一意の命名パターンにより、古いスキーマ定義ファイルが監査目的で保持されます。
• •Confluent Schema Registryを使用してスキーマを格納するConfluent Kafkaターゲットがある場合は、タスクウィザードの［ターゲット］ページで次の設定を行う必要があります。
• - ［出力形式］フィールドで、［AVRO］を選択します。
• - ［Avroシリアル化形式］フィールドで、［なし］を選択します。
• •Kafkaプロデューサプロパティをタスクウィザードの［ターゲット］ページの［プロデューサ設定プロパティ］フィールド、またはKafka接続プロパティの［追加接続プロパティ］フィールドいずれかで指定できます。ビジネスニーズに合うように、Kafkaベンダーによってサポートされているproperty=valueのペアを入力します。
例えば、Confluent Kafkaを使用する場合は、［プロデューサ設定プロパティ］フィールドまたは［追加接続プロパティ］フィールドで次のエントリを使用してスキーマレジストリのURLを指定し、基本認証を有効にすることができます。
schema.registry.url=http://schema-registry:8081,
key.serializer=org.apache.kafka.common.serialization.StringSerializer,
value.serializer=io.confluent.kafka.serializers.KafkaAvroSerializer,
basic.auth.credentials.source=USER_INFO,
basic.auth.user.info=myname:mypassword
Amazon MSKを使用する場合は、次の［追加接続プロパティ］エントリを使用して、Amazon MSKターゲットにアクセスするためのIAMロール認証を有効にすることができます。
security.protocol=SASL_SSL,sasl.mechanism=AWS_MSK_IAM,sasl.jaas.config=software.amazon.msk.auth.iam.IAMLoginModule required;,sasl.client.callback.handler.class=software.amazon.msk.auth.iam.IAMClientCallbackHandler
必ずSecure AgentがインストールされているAmazon EC2インスタンスでIAMロール認証を有効にしてください。
Kafkaプロパティの詳細については、Kafkaベンダーのドキュメントを参照してください。
• •アプリケーション取り込みとレプリケーションの増分ロードジョブでは、Confluent Kafka、Amazon MSK、およびAzure Event Hubsターゲットを含め、SASL_SSLで保護されたアクセスをサポートするKafkaターゲットに変更データをレプリケートすることができます。Administratorで、［追加接続プロパティ］フィールドの適切なプロパティをはじめとするKafka接続を設定する必要があります。例えば、Azure Event Hubsの場合、次の［追加接続プロパティ］エントリを使用して、SASL_SSLを有効にすることができます。
bootstrap.servers=NAMESPACENAME.servicebus.windows.net:9093
security.protocol=SASL_SSL
sasl.mechanism=PLAIN
sasl.jaas.config=org.apache.kafka.common.security.plain.PlainLoginModule required
username="$ConnectionString" password="{YOUR.EVENTHUBS.CONNECTION.STRING}";
• •2025年7月リリース以降、新たにデプロイされたジョブは、各メッセージのKafkaヘッダーにチェックポイント情報を送信します。ジョブが再開されると、チェックポイント情報がKafkaヘッダーから取得されます。この動作により、Kafkaターゲットを持つ新たにデプロイされたジョブをSecure Agentグループ内の別のSecure Agentで実行できるため、高可用性を実現できます。2025年7月リリースより前は、チェックポイント情報はSecure Agentのチェックポイントファイルにのみ保持されていました。
Kafkaアクセス制御リスト（ACL）またはその他の制御を使用して、グループ名でKafkaターゲットへのアクセスを制限する場合、アプリケーション取り込みおよびレプリケーションはデフォルトのコンシューマグループ名infaGroupを使用して、Kafkaターゲットの高可用性をサポートすることに注意してください。別の既存のコンシューマグループ名を使用する場合は、Kafkaのgroup.id設定プロパティでそのコンシューマグループ名を指定して、アプリケーション取り込みおよびレプリケーションジョブでトピックを読み取れるようにする必要があります。デフォルトのinfaGroup名を使用しない場合、または別の既存のグループ名を指定した場合、アプリケーション取り込みおよびレプリケーションタスクは、次のエラーで失敗します。
org.apache.kafka.common.errors.GroupAuthorizationException: Not authorized to access group: <group_name>

Databricksターゲットのガイドライン

• • Databricksターゲットを初めて使用する場合は、ターゲットに対してアプリケーション取り込みとレプリケーションタスクを設定する前に、次の手順を実行します。
1. 1Databricks接続プロパティで、［JDBCドライバクラス名］プロパティをcom.databricks.client.jdbc.Driverに設定します。
2. 2Windowsでは、Secure Agentが実行されているコンピュータにVisual Studio2013用のVisual C++再配布可能パッケージをインストールします。
• •増分ロードジョブの場合、すべてのソースフィールドに対して変更データキャプチャ（Change Data Capture: CDC）を有効にする必要があります。
• • 次のストレージタイプの上に作成されたDatabricksテーブルにアクセスできます。
• - Microsoft Azure Data Lake Storage（ADLS）Gen2
• - Amazon Web Services（AWS）S3
Databricks接続は、JDBC URLを使用してDatabricksクラスタに接続します。ターゲットを設定するときは、クラスタへの接続に使用するJDBC URLと資格情報を指定します。また、ターゲットがAmazon S3またはADLS Gen2のステージングロケーションに接続するために使用する接続情報を定義します。
• •Databricksターゲットテーブルにデータを書き込む前に、アプリケーション取り込みとレプリケーションジョブはデータをAmazon S3バケットまたはまたはADLSディレクトリにステージングします。アプリケーション取り込みとレプリケーションタスクを設定するときに、データのディレクトリを指定する必要があります。
注:
アプリケーション取り込みとレプリケーションは、ディレクトリを決定する際にDatabricks接続プロパティの［ADLSステージングファイルシステム名］と［S3ステージングバケット］プロパティは使用しません。
• •アプリケーション取り込みとレプリケーションは、1回だけ実行されるジョブを使用して、AWS S3またはADLS Gen2のステージングファイルから外部テーブルにデータをロードします。
デフォルトでは、アプリケーション取り込みとレプリケーションは、Databricks接続プロパティで指定されたクラスタでジョブを実行します。別のクラスタでジョブを実行する場合は、アプリケーション取り込みとレプリケーションタスクウィザードの［ターゲット］ページでdbDeltaUseExistingClusterカスタムプロパティをFALSEに設定します。
• •Databricks接続プロパティで指定されたクラスタが稼働していない場合、アプリケーション取り込みとレプリケーションジョブはクラスタが開始するまで待機します。デフォルトでは、ジョブは10分間待機します。クラスタが10分以内に開始されない場合、接続がタイムアウトし、ジョブのデプロイが失敗します。
接続のタイムアウト値を増やす場合は、dbClusterStartWaitingTimeカスタムプロパティを、クラスタが起動して実行されるまで取り込みおよびレプリケーションジョブが待機する必要がある最大時間（秒単位）に設定します。カスタムプロパティはアプリケーション取り込みとレプリケーションタスクウィザードの［ターゲット］ページで設定できます。
• •デフォルトでは、アプリケーション取り込みとレプリケーションは、DatabricksのCOPY INTO機能を使用して、ステージングファイルからDatabricksターゲットテーブルにデータをロードします。アプリケーション取り込みとレプリケーションタスクウィザードの［ターゲット］ページでwriterDatabricksUseSqlLoadカスタムプロパティをFALSEに設定すると、すべてのロードタイプでこれを無効にできます。
• •AWSクラスタを使用する場合は、Databricks接続プロパティの［S3サービスリージョナルエンドポイント］の値を指定する必要があります。以下に例を示します。
s3.us-east-2.amazonaws.com
Databricks接続をテストする前には、Databricks接続プロパティの［SQLエンドポイントJDBC URL］フィールドでJDBC URLを指定する必要があります。接続をテストしたら、［SQLエンドポイントJDBC URL］の値を削除します。そうしないと、接続を使用するアプリケーション取り込みとレプリケーションタスクを定義するときに設計時エラーが発生します。これは、アプリケーション取り込みとレプリケーションが、JDBC URLの他に、必須の［Databricksホスト］、［クラスタID］、［組織ID］、［Databricksトークン］の値を使用してターゲットに接続しようとし、ログインエラーを引き起こすためです。
• •基になるParquetファイルを書き換える必要なく、Databricksターゲットテーブルに対してフィールド名の変更操作を処理するには、Databricks Runtime 10.2以降のDatabricksカラムマッピング機能が必要です。タスクウィザードの［スケジュールおよびランタイムオプション］ページで［フィールド名の変更］オプションを［レプリケート］に設定した場合、タスクのデプロイ後、ジョブを実行する前に、生成されたターゲットテーブルを変更して、次のDatabricksテーブルプロパティを設定する必要があります。
ALTER TABLE <target_table> SET TBLPROPERTIES (
'delta.columnMapping.mode' = 'name',
'delta.minReaderVersion' = '2',
'delta.minWriterVersion' = '5')
これらのプロパティにより、必要なリーダーとライターのバージョンのDatabricksカラムマッピング機能が有効になります。これらのプロパティを設定しない場合、アプリケーション取り込みとレプリケーションジョブは失敗します。
• •Databricksターゲットを含むアプリケーション取り込みとレプリケーションは、Databricks Unity Catalogからターゲットテーブルを生成するためのスキーマ情報を取得できます。Unity Catalog内の情報へのアクセスを有効にするには、Databricks接続プロパティの［カタログ名］フィールドにカタログ名を指定します。カタログ名は、データウェアハウスの［SQLウェアハウスJDBC URL］値に追加されます。
注:
カタログの使用はSQLウェアハウスの場合はオプションであり、ジョブクラスタには適用されません。
Unity Catalogを使用する場合は、個人用ストレージの場所が自動的にプロビジョニングされます。個人用のステージング場所を使用するには、接続プロパティの［ステージング環境］フィールドで［個人用のステージング場所］を選択します。その後、取り込みジョブのParquetデータファイルをローカルの個人用ストレージの場所にステージングできます。データ保持期間は7日間です。デフォルトでは、ステージング場所はAWSまたはAzureのルートの場所stage://tmp/<user_name>です。<user_name>は、［データベーストークン］接続プロパティから取得されます。このユーザーには、個人用のステージング場所に対する読み取りおよび書き込みアクセス権が必要です。
• •Databricksのボリュームにデータをステージングできます。ボリュームは、ファイルやディレクトリなどの表形式以外のデータセットを管理および保護するために使用されるUnity Catalogオブジェクトです。ボリュームには以下のタイプがあります。
• - マネージドボリューム
• ▪ データは、Databricksによって完全に制御および管理されている場所に格納されます。ステージング環境としてボリュームを使用する場合は、接続プロパティの［ボリュームパス］フィールドで、ステージングファイルが生成されるボリュームパスを指定できます。ファイルはdataDirectoryレベルまでしか書き込まれません。
• ▪ ボリューム内のファイルへのパスを指定しない場合、新しいボリュームが次の形式で自動的に生成されます。
<Volumes/<catalogName>/<databaseName>/<volume_identifier>
• ▪ 生成されたボリュームは、初期ロードジョブが正常に完了すると削除されます。空のボリュームのみが自動的に削除されます。組み合わせロードジョブの初期ロードのフェーズが完了したときにはボリュームは削除されません。
• - アンマネージド/外部ボリューム
• ▪ データは、Databricksからマウントまたはアクセスする、Amazon S3またはMicrosoft Azure Data Lake Storage内のユーザー管理ストレージの場所に格納されます。
• ▪ 接続プロパティの［ボリュームパス］フィールドで、ステージングファイルが生成されるボリュームパスを指定する必要があります。ファイルはdataDirectoryレベルまでしか書き込まれません。
• ▪ 初期ロードジョブまたは組み合わせロードジョブの初期ロードフェーズが完了したときには、ボリュームは削除されません。
• •Databricksアンマネージドテーブルをターゲットテーブルとして生成し、ターゲットのアンマネージドテーブルが不要になった場合は、SQL DROP TABLE文を使用してターゲットデータベースからそのテーブルを削除します。Amazon S3またはAzure Data Lake Storageにあるアンマネージドテーブル用の外部ディレクトリは手動で削除しないでください。その場合、そのテーブルを使用する別のジョブをデプロイしようとすると、デプロイはメタデータハンドラエラーで失敗します。

Google BigQueryターゲットのガイドライン

• •Google BigQueryターゲットを初めて使用する場合は、ターゲットに対してアプリケーション取り込みとレプリケーションタスクを設定する前に、次の手順を実行します。
1. 1Google BigQuery JDBCドライバSimbaJDBCDriverforGoogleBigQuery42_1.6.1.1002をGoogle CloudのWebサイトからダウンロードします。
2. 2インストールzipからGoogleBigQueryJDBC42.jarファイルのみを次のディレクトリにコピーします。
<Secure_Agent_installation_directory>/apps/Database_Ingestion/ext/
注:
そのディレクトリに他のGoogle BigQueryドライバ.jarファイルが存在する場合は、それらを削除します。これらは現在、アプリケーション取り込みとレプリケーションにバンドルされています。
3. 3Secure Agentを再起動します。
• •Google BigQueryとGoogle Cloud StorageにアクセスするためのサービスアカウントがGoogleアカウントにある必要があります。
• •サービスアカウントにclient_email、project_id、private_key、およびregionIDの値があることを確認してください。Google BigQuery接続を作成するときに、対応する［サービスアカウントID］、［プロジェクトID］、［サービスアカウントキー］、および［リージョンID］接続プロパティに値を入力します。
• •Google BigQuery接続のタイムアウト間隔を設定する場合は、接続プロパティの［オプションのプロパティを指定］フィールドでタイムアウト間隔プロパティを指定します。次の形式を使用します。
"timeout": "<timeout_interval_in_seconds>"
• •次のエンティティへの読み取りおよび書き込みアクセスが必要です。
• - ターゲットテーブルを含むGoogle BigQueryデータセット。
• - アプリケーション取り込みとレプリケーションがステージングファイルを作成するGoogle Cloud Storageパス。
• •Google BigQueryターゲット用に設定されたアプリケーション取り込みとレプリケーションジョブは、ソースフィールドの変更と名前変更をターゲットにレプリケートしません。
• •増分ロードタスクの場合、すべてのソースフィールドに対してソースデータベース変更データキャプチャ（Change Data Capture: CDC）を有効にする必要があります。
• • Google BigQueryテーブルにデータを書き込むには、次の権限が必要です。
• - bigquery.datasets.get
• - bigquery.datasets.getIamPolicy
• - bigquery.models.*
• - bigquery.routines.*
• - bigquery.tables.create
• - bigquery.tables.delete
• - bigquery.tables.export
• - bigquery.tables.get
• - bigquery.tables.getData
• - bigquery.tables.list
• - bigquery.tables.update
• - bigquery.tables.updateData
• - bigquery.tables.updateTag
• - resourcemanager.projects.get
• - resourcemanager.projects.list
• - bigquery.jobs.create
• •アプリケーション取り込みとレプリケーションジョブをデプロイすると、アプリケーション取り込みとレプリケーションはデフォルトでは、プライマリキーカラムまたは一意のキーカラムでクラスタ化されたGoogle BigQueryターゲットテーブルを生成します。各キーカラムには、Google BigQueryがクラスタリングでサポートする次のいずれかのデータ型が必要です。
• - STRING
• - INT64
• - NUMERIC
• - BIGNUMERIC
• - DATE
• - DATETIME
• - TIMESTAMP
• - BOOL
• - GEOGRAPHY
プライマリキーまたはユニークキーのカラムにサポートされていないデータ型がある場合、クラスタリング時にそのカラムはスキップされます。例えば、プライマリキーにC1、C2、C3、C4、C5カラムが含まれていて、C2にサポートされていないデータ型がある場合、ターゲットテーブルはCLUSTER BY句にC1、C3、C4、およびC5カラムを使用して作成されます。

Microsoft Azure Synapse Analyticsターゲットのガイドライン

• •Microsoft Azure Synapse Analyticsターゲットを使用してアプリケーション取り込みとレプリケーションタスクをデプロイして実行するには、ターゲット接続でターゲットデータベースに対するCONTROL権限を持つデータベースユーザーを指定する必要があります。ユーザーにCONTROL権限を付与するには、次のSQL文を使用します。
USE database_name;
GRANT CONTROL TO user_name;
CONTROL権限は、初期ロード、増分ロード、および初期ロードと増分ロードの組み合わせジョブに必要です。この権限により、アプリケーション取り込みとレプリケーションは、ターゲットテーブルと、外部データソース、外部ファイル形式、データベーススコープの資格情報オブジェクト（データベースに存在しない場合）などのデータベースオブジェクトを作成できます。CONTROL権限は、外部データソースおよびデータベーススコープの資格情報オブジェクトを作成するために特に必要です。
注:
マスターキーを手動で作成する必要があります。マスターキーを作成するには、データベースに対するCONTROL権限が必要です。
• •アプリケーション取り込みとレプリケーションジョブは、データをMicrosoft Azure Synapse Analyticsターゲットテーブルに書き込む前に、まずMicrosoft Azure Data Lake Storage Gen2ステージングファイルにデータを送信します。ステージングファイルは、フィールド区切り文字として16進数のx1d区切り文字を使用します。データがターゲットに書き込まれた後、ステージングファイルを含むテーブル固有のディレクトリに保存されているデータが削除されます。
• •Microsoft Azure Synapse Analytics接続でMicrosoft Azure Data Lake Storage Gen2を使用する場合は、Microsoft Azure Data Lake Storageの［階層型名前空間］オプションを有効にする必要があります。この設定では、blobストレージは推奨されません。
• •Microsoft Azure Synapse Analyticsターゲットのアプリケーション取り込みとレプリケーションタスクを構成するときに、レプリケーションの対象として選択した各ソースオブジェクトが次の条件を満たしていることを確認します。
• - オブジェクトには1024を超えるフィールドが含まれていてはならず、各フィールドのサイズは500 KB未満である必要があります。
• - オブジェクトには、サイズが1 MBを超えるレコードが含まれていてはいけません。
• - オブジェクトには、32を超えるプライマリキーが含まれていてはいけません。
• - クラスタインデックスキーには、サイズが900バイトを超えるデータを含めることはできません。
• - オブジェクトのプライマリキーは、Microsoft Azure Synapse Analyticsがプライマリキーに対してサポートするデータ型である必要があります。
• •増分ロードジョブと、初期ロードジョブと増分ロードジョブの組み合わせにより、ターゲット上にINFORMATICA_CDC_RECOVERYという名前のリカバリテーブルが生成され、内部サービス情報が格納されます。リカバリテーブルのデータによって、障害後に再開されたジョブが以前に処理されたデータを再度プロパゲートすることが防止されます。リカバリテーブルは、ターゲットテーブルのスキーマで生成されます。
• •アプリケーション取り込みとレプリケーションジョブが外部テーブルを使用してMicrosoft Azure Synapse Analyticsターゲットにデータをロードすると、ジョブの再開時にこれらのテーブルが再作成される場合でも、ジョブはターゲット上に作成されたログテーブルと外部テーブルを削除しません。
• •Microsoft Azure Synapse Analyticsターゲット用に設定されたアプリケーション取り込みとレプリケーションジョブは、ソースフィールドの名前変更をターゲットにレプリケートしません。

Microsoft Azure SQL DatabaseターゲットおよびSQL Serverターゲットのガイドライン

• •SQL Server JDBCドライバは、アプリケーション取り込みとレプリケーションとともに提供されます。個別にインストールする必要はありません。
• •アプリケーション取り込みとレプリケーションユーザーには、ターゲットテーブルの作成とテーブルへのデータの書き込みを行うため、少なくとも次のデータベースロールが必要です。
• - db_datareader
• - db_datawriter
• - db_ddladmin
• •Administratorで、SQL Serverターゲットに接続するためのSQL Server接続を定義するときに、次の必須の接続プロパティを設定します。
• - SQL Serverのバージョン。このプロパティは使用されなくなりました。バージョンを選択すると、そのバージョンは無視されます。
• - 認証モード。［SQL Server認証］または［Windows認証v2］を選択します。
• - ユーザー名
• - パスワード
• - ホスト
• - ポート
• - データベース名
• - スキーマ
• - コードページ
必要に応じて、ターゲット接続にSSL暗号化を使用するには、［暗号化方式］プロパティを［SSL］、［要求SSL］、または［ログインSSL］のいずれかのオプションに設定します。暗号化を有効にする場合は、次のプロパティも設定します。
• - 暗号プロトコルバージョン
• - サーバー証明書の検証。［True］を選択します。
• - トラストストア
• - トラストストアパスワード
• - 証明書内のホスト名
他の接続プロパティはサポートされていません。
• •SQL Serverターゲットを持つアプリケーション取り込みとレプリケーションの増分ロードジョブ、初期および増分ロードジョブは、ターゲットテーブルスキーマに基づいて、いくつかの追加のメタデータカラムとともにLOGテーブルを生成します。LOGテーブルは、変更データがターゲットにフラッシュされる直前に作成されます。受信DMLデータは、ローカルCSVファイルをSQL ServerドライバのBulk Copy APIに提供することにでLOGテーブルに挿入されます。LOGテーブルの情報に基づいてmerge apply文が生成され、DML操作が実際のターゲットテーブルに適用されます。この処理が完了すると、LOGテーブルは削除されます。複数のジョブ、または複数のテーブルを含むジョブを実行している場合、LOGテーブルによって、顧客データベースインスタンスの追加スペースまたはサイズ要件が一時的に急増する可能性があります。LOGテーブルに必要なスペースとサイズは、フラッシュサイクルの一部として受信される行数によって異なります。
• •アプリケーション取り込みとレプリケーションの増分ロードジョブ、または初期ロードおよび増分ロードジョブがSQL Serverターゲットにプロパゲートできるソースオブジェクト内のフィールド数は、508フィールドを超えることはできません。ソースオブジェクトに508を超えるフィールドが含まれている場合、ジョブはLOGテーブルの作成中に失敗します。
• •アプリケーション取り込みとレプリケーションの増分ロードジョブにより、ターゲット上にINFORMATICA_CDC_RECOVERYという名前のリカバリテーブルが生成され、障害後に再開されたジョブが以前に処理されたデータを再度プロパゲートするのを防ぐ内部サービス情報が格納されます。このリカバリテーブルは、ターゲットテーブルと同じスキーマで生成されます。

Microsoft Fabric OneLakeターゲットに関するガイドライン

• •Microsoft Fabric OneLakeターゲットにアプリケーション取り込みとレプリケーションタスクを設定する際に、ターゲットに適用されるソースデータを含む出力ファイルの形式として、CSV、Avro、またはParquetを選択できます。
• •出力ファイル形式として［CSV］を選択した場合、アプリケーション取り込みとレプリケーションは、ソースフィールドごとに次のファイルをターゲットに作成します。
• - フィールドのスキーマを記述するschema.iniファイル。このファイルには、ターゲットの出力ファイルに対するいくつかの設定も含まれています。
• - ソースフィールドに保存されているデータを含む出力ファイル。アプリケーション取り込みとレプリケーションは、日付と時刻が追加されたソースフィールドの名前に基づいて、出力ファイルに名前を付けます。
schema.iniファイルには、対応する出力ファイルの行の一連のカラムが一覧表示されます。次の表で、schema.iniファイルのカラムについて説明します。

カラム	説明
ColNameHeader	ソースデータファイルにカラムヘッダーが含まれているかどうかを示します。
Format	出力ファイルの形式。アプリケーション取り込みとレプリケーションはカンマ（,）を使用してカラムの値を区切ります。
CharacterSet	対応する出力ファイルに使用される文字セット。デフォルトでは、アプリケーション取り込みとレプリケーションはUTF-8文字セットでファイルを生成します。
COL<sequence_number>	ソースフィールドの名前とデータ型。 注: タスクウィザードの［ターゲット］ページの［詳細］で［操作の追加...］プロパティのいずれかを選択した場合、カラムのリストには、操作のタイプ、時間、所有者、またはトランザクションIDのメタデータカラムが含まれます。

注:
schema.iniファイルを編集してはいけません。
• •［Avro］出力フォーマットを選択した場合、Avro形式タイプ、ファイル圧縮タイプ、Avroデータ圧縮タイプ、および各ソーステーブルに対して生成されたAvroスキーマ定義を格納するディレクトリを選択できます。スキーマ定義ファイルの命名パターンは、スキーマ名_テーブル名.txtです。
• •Parquet出力形式を選択した場合、必要に応じて、Parquetがサポートする圧縮タイプを選択できます。
• •アプリケーション取り込みとレプリケーションは、空のソースフィールドごとに空のディレクトリをターゲットに作成します。
• •CSV出力形式を使用する、ターゲット用に設定された増分ロードジョブまたは初期ロードジョブと増分ロードジョブの組み合わせが、ソースのプライマリキーの値を変更した更新操作をプロパゲートする場合、ジョブは関連するターゲット行に対して削除操作を実行してから、同じ行に対して挿入操作を実行することで、ソースオブジェクトに加えられた変更をレプリケートします。削除操作は操作前のイメージをターゲットに書き込み、後続の挿入イメージは操作後のイメージをターゲットに書き込みます。
プライマリキー値を変更しない更新操作の場合、アプリケーション取り込みとレプリケーションジョブは各更新操作を1つの操作として処理し、操作後のイメージのみをターゲットに書き込みます。アプリケーション取り込みとレプリケーションはソースに対して実行された各更新操作を、ターゲットに対する削除操作とそれに続く挿入操作として処理します。

Microsoft Fabric OneLakeにデータをレプリケートするためのオープンミラーリングの使用

ターゲットの準備

1. 1Microsoft Fabricのワークスペースにミラーリングされたデータベースを作成します。
OneLakeは、ミラーリングされたデータベース名とワークスペースに基づいて、固有のランディングゾーンのURLを生成します。タスク設定で使用するために、このランディングゾーンのURLを控えておいてください。
2. 2ミラーリングされたデータベースを作成した後に、レプリケーションが自動的に開始されます。ミラーリングされたデータベース設定を確認し、レプリケーションの状態が実行されているかを確認します。

タスクの設定

• •レプリケーションの失敗を避けるため、選択したそれぞれのソーステーブルにプライマリキーまたは一意キーカラムが定義されていることを確認します。これらのキーは更新や削除の処理を行うために必要です。
• •タスクターゲットのプロパティで、［オープンミラーリング］を有効にし、［ランディングゾーンのURL］の値を入力して、ミラーリングされたデータファイルが正しいMicrosoft Fabric OneLakeパスに書き込まれるようにします。

ランディングゾーンのファイル構造

• •キーカラムとメタデータを指定する_metadata.jsonファイル。
• •順序を維持するために19桁の固定幅数値形式で連番で命名されたParquetデータファイル。例: 00000000000000000001.parquet.

制限事項

• •それぞれのテーブルの_metadata.jsonファイルはタスクによって生成されます。タスクデプロイ中に変更を行うことはできません。変更を行うには、タスクを更新してから再デプロイする必要があります。
• •レプリケーションやダウンストリームでの取り込みで障害が発生する可能性があるため、ランディングゾーン内のミラーリングされたデータファイルを変更または削除しないようにしてください。
• •スキーマドリフトを使用すると、ソースデータに新しいカラムが現れた際に、そのカラムが自動的に追加されます。ただし、ソースでカラムが削除された場合、この変更はターゲットには反映されません。
• •1つのミラーリングされたデータベース内に最大500のテーブルをミラーリングできます。

Oracleターゲットのガイドライン

ターゲットの準備

• •アプリケーション取り込みとレプリケーションでデータをOracleターゲットデータベースにロードするためには、ユーザーに特定の特権が必要です。オンプレミスOracleターゲットの場合は、Oracleターゲットに接続するアプリケーション取り込みとレプリケーションユーザー（cmid_user）に、次のユーザー特権を付与します。
GRANT CREATE SESSION TO cmid_user;

GRANT SELECT ON "PUBLIC".V$DATABASE TO cmid_user;
GRANT SELECT ON "PUBLIC".V$CONTAINERS TO cmid_user;

GRANT SELECT ON DBA_USERS TO cmid_user;
GRANT SELECT ON DBA_TABLES TO cmid_user;
GRANT SELECT ON DBA_OBJECT_TABLES TO cmid_user;
GRANT SELECT ON DBA_INDEXES TO cmid_user;
GRANT SELECT ON DBA_OBJECTS TO cmid_user;
GRANT SELECT ON DBA_VIEWS TO cmid_user;

GRANT CREATE TABLE <schema.table> TO cmid_user; <--Unless you grant on ANY TABLE
GRANT SELECT ON ALL_CONSTRAINTS TO cmid_user;
GRANT SELECT ON ALL_OBJECTS TO cmid_user;

GRANT SELECT ON SYS.TAB$ TO cmid_user;
GRANT SELECT ON SYS.RECYCLEBIN$ TO cmid_user;
GRANT SELECT ON SYS.COL$ TO cmid_user; <-- If cmid_user is the owner of the target schema
GRANT SELECT ON SYS.CCOL$ TO <cmid_user>;
GRANT SELECT ON SYS.CDEF$ TO cmid_user;
GRANT SELECT ON SYS.OBJ$ TO cmid_user;
GRANT SELECT ON SYS.COLTYPE$ TO cmid_user;
GRANT SELECT ON SYS.ATTRCOL$ TO cmid_user;
GRANT SELECT ON SYS.IDNSEQ$ TO cmid_user;
GRANT SELECT ON SYS.ATTRCOL$ TO cmid_user;
GRANT SELECT ON SYS.IDNSEQ$ TO cmid_user;
GRANT SELECT ON SYS.IND$ TO cmid_user;

-- Grant the following if cmid_user is NOT the owner of the target schema. If you prefer, you
-- can grant to individual target tables and indexes instead of to ANY TABLE or ANY INDEX.
GRANT ALTER SESSION TO cmid_user;
GRANT RESOURCE TO cmid_user;
GRANT SELECT ANY TABLE TO cmid_user;
GRANT SELECT ANY DICTIONARY TO <cmid_user>;
GRANT ALTER ANY TABLE TO cmid_user;
GRANT CREATE ANY TABLE TO cmid_user;
GRANT DROP ANY TABLE TO cmid_user;
GRANT INSERT ANY TABLE TO cmid_user;
GRANT UPDATE ANY TABLE TO cmid_user;
GRANT DELETE ANY TABLE TO cmid_user;
GRANT CREATE ANY INDEX TO cmid_user;
GRANT ALTER ANY INDEX TO cmid_user;
GRANT DROP ANY INDEX TO cmid_user;
• •Amazon RDS for Oracleターゲットの場合は、RDSにマスタユーザーとしてログインし、Oracleターゲットに接続するアプリケーション取り込みとレプリケーションユーザー（cmid_user）に次のユーザー特権を付与します。
GRANT CREATE SESSION TO cmid_user;

GRANT SELECT on "PUBLIC".V$DATABASE TO cmid_user;

GRANT SELECT on DBA_USERS TO cmid_user;
GRANT SELECT on DBA_TABLES TO cmid_user;
GRANT SELECT on DBA_INDEXES TO cmid_user;
GRANT SELECT ON DBA_VIEWS TO cmid_user;

GRANT CREATE TABLE <schema.table> TO cmid_user;
GRANT SELECT on SYS.TAB$ TO cmid_user;
GRANT SELECT on SYS.COL$ TO cmid_user;
GRANT SELECT on SYS.OBJ$ TO cmid_user;
GRANT SELECT on SYS.IND$ TO cmid_user;

-- Grant the following if cmid_user is NOT the owner of the target schema. If you prefer, you
-- can grant to individual target tables and indexes instead of to ANY TABLE or INDEX.
GRANT ALTER SESSION TO cmid_user;
GRANT RESOURCE TO cmid_user;
GRANT SELECT ANY TABLE TO cmid_user;
GRANT SELECT ANY DICTIONARY TO <cmid_user>;
GRANT ALTER ANY TABLE TO cmid_user;
GRANT CREATE ANY TABLE TO cmid_user;
GRANT DROP ANY TABLE TO cmid_user;
GRANT INSERT ANY TABLE TO cmid_user;
GRANT UPDATE ANY TABLE TO cmid_user;
GRANT DELETE ANY TABLE TO cmid_user;
GRANT CREATE ANY INDEX TO cmid_user;
GRANT ALTER ANY INDEX TO cmid_user;
GRANT DROP ANY INDEX TO cmid_user;
また、次のAmazon RDSプロシージャを実行して、追加のSELECT権限をcmid_userに付与します。
begin
rdsadmin.rdsadmin_util.grant_sys_object(
p_obj_name => 'V_$CONTAINERS',
p_grantee => 'cmid_user',
p_privilege => 'SELECT');
end;
/
begin
rdsadmin.rdsadmin_util.grant_sys_object(
p_obj_name => 'DBA_OBJECT_TABLES',
p_grantee => 'cmid_user',
p_privilege => 'SELECT');
end;
/
begin
rdsadmin.rdsadmin_util.grant_sys_object(
p_obj_name => 'DBA_OBJECTS',
p_grantee => 'cmid_user',
p_privilege => 'SELECT');
end;
/
begin
rdsadmin.rdsadmin_util.grant_sys_object(
p_obj_name => 'ALL_CONSTRAINTS',
p_grantee => 'cmid_user',
p_privilege => 'SELECT');
end;
/
begin
rdsadmin.rdsadmin_util.grant_sys_object(
p_obj_name => 'ALL_OBJECTS',
p_grantee => 'cmid_user',
p_privilege => 'SELECT');
end;
/
begin
rdsadmin.rdsadmin_util.grant_sys_object(
p_obj_name => 'RECYCLEBIN$',
p_grantee => 'cmid_user',
p_privilege => 'SELECT');
end;
/
begin
rdsadmin.rdsadmin_util.grant_sys_object(
p_obj_name => 'CCOL$',
p_grantee => 'cmid_user',
p_privilege => 'SELECT',
p_grant_option => false);
end;
/
begin
rdsadmin.rdsadmin_util.grant_sys_object(
p_obj_name => 'CDEF$',
p_grantee => 'cmid_user',
p_privilege => 'SELECT',
p_grant_option => false);
end;
/
begin
rdsadmin.rdsadmin_util.grant_sys_object(
p_obj_name => 'COLTYPE$',
p_grantee => 'cmid_user',
p_privilege => 'SELECT',
p_grant_option => false);
end;
/
begin
rdsadmin.rdsadmin_util.grant_sys_object(
p_obj_name => 'ATTRCOL$',
p_grantee => 'cmid_user',
p_privilege => 'SELECT',
p_grant_option => false);
end;
/
begin
rdsadmin.rdsadmin_util.grant_sys_object(
p_obj_name => 'IDNSEQ$',
p_grantee => 'cmid_user',
p_privilege => 'SELECT',
p_grant_option => false);
end;
/

使用に関する考慮事項:

• •デフォルトでは、パフォーマンスを最適化するために、アプリケーション取り込みとレプリケーションではOracleターゲットテーブルのロギングが無効になっています。アプリケーション取り込みとレプリケーションタスクウィザードの［ターゲット］ページでwriterOracleNoLoggingカスタムプロパティをfalseに設定すると、ロギングを有効にできます。
• •アプリケーション取り込みおよびレプリケーションは、Oracleターゲットオブジェクトを生成するときにレプリケーションに必要な最小限のソース制約を使用します。ソースにプライマリキーがある場合、ジョブはターゲットオブジェクトの作成時にそのプライマリキーを優先的に使用し、他の制約は使用しません。SAP ECCソース（Oracleベース）を持つアプリケーション取り込みおよびレプリケーションタスクでは、ソースにプライマリキーがなく、一意のインデックスがある場合、タスクは次の優先順位でレプリケーションに最適な一意のインデックスを選択します: 1）NOT NULLカラムのみを持つ一意のインデックス、2）複数の一意のインデックスにNOT NULLカラムのみがある場合は、カラム数が最も少ない一意のインデックス、または、3）ソースプライマリキーまたは一意のNOT NULLインデックスが存在しない場合は、カラム数が最も多い一意のインデックス。1つのプライマリキーまたは一意インデックスのみが使用されます。
レプリケーションに必要のないソースオブジェクトプロパティ（ストレージやパーティション化など）はターゲットに反映されません。
• •Oracleターゲットにデータをロードする場合は、Oracleテーブルまたはビューのカラムの合計数が1000を超えないようにしてください。

PostgreSQLターゲットのガイドライン

• • PostgreSQLターゲットを含むアプリケーション取り込みタスクをデプロイして実行するには、ターゲット接続で必要な特権を持つデータベースユーザーを指定する必要があります。
ユーザーには、接続で指定されたデータベースに対するCONNECT特権とTEMPORARY特権、およびターゲットプロパティで指定されたターゲットスキーマに対するUSAGE特権とCREATE特権が必要です。
次のSQL文を使用して、これらの特権をユーザーロールに付与し、そのロールをユーザーに割り当てます。
CREATE ROLE dbmi_role;
GRANT CONNECT ON DATABASE database TO dbmi_role;
GRANT TEMPORARY ON DATABASE database TO dbmi_role;
GRANT CREATE ON SCHEMA schema TO dbmi_role;
GRANT USAGE ON SCHEMA schema TO dbmi_role;
CREATE USER dbmi_user with PASSWORD 'password';
GRANT dbmi_role to dbmi_user;

注:
ジョブの実行時に生成されるターゲットテーブルに対する特権は、ジョブを実行するユーザーに付与されます。
• •PostgreSQLターゲットを使用したアプリケーション取り込みとレプリケーションの増分ロードジョブでは、ターゲットテーブルスキーマに基づいてLOGテーブルが生成され、いくつかのメタデータカラムが追加されます。LOGテーブルは、変更データがターゲットにフラッシュされる直前に作成されます。受信DMLデータは、ローカルCSVファイルをPostgreSQLドライバのBulk Copy APIに提供することにでLOGテーブルに挿入されます。LOGテーブルの情報に基づいて一連のmerge apply文が生成され、DML操作が実際のターゲットテーブルに適用されます。DMLの変更が適用されると、LOGテーブルは削除されます。
複数のジョブ、または複数のテーブルを含むジョブを実行している場合、LOGテーブルによって、顧客データベースインスタンスの追加スペースまたはサイズ要件が一時的に急増する可能性があります。LOGテーブルに必要なスペースとサイズは、フラッシュサイクルの一部として受信される行数によって異なります。
• •アプリケーション取り込みとレプリケーションの増分ロードジョブがPostgreSQLターゲットにプロパゲートできるソースオブジェクト内のフィールド数は、796フィールドを超えることはできません。ソースオブジェクトに796を超えるフィールドが含まれている場合、ジョブはLOGテーブルの作成中に失敗します。
• • PostgreSQLテーブルの行に挿入されるデータは、インスタンスに設定されたページサイズによって異なります。既定値は8 KBです。行がページサイズを超えると、ジョブは失敗し、アプリケーション取り込みとレプリケーションに次のエラーが表示されます。
SQL Error [54000]: ERROR: row is too big: size 9312, maximum size 8160
このエラーは、データが設定されたページサイズを超え、PostgreSQLがデータを保持できない場合に発生します。
例:
• - ソーステーブルに500個のINTカラムがある場合、行サイズは2,000バイト（500 * 4バイト）です。行がページサイズ（8,192バイト）内に収まり、正常に挿入されました。
• - ソーステーブルに500個のBIGINTカラムがある場合、行サイズは4,000バイト（500 * 8バイト）です。行がページサイズ内に収まり、正常に挿入されました。
• - ソーステーブルに500個のVARCHAR（255）カラムがある場合、行サイズは9,000バイト（500 * 18バイト）です。行がページサイズに収まらないため、エラーが発生します。
• •PostgreSQLでサポートするソースオブジェクト識別子の最大長は63文字です。PostgreSQLターゲットを持つアプリケーション取り込みとレプリケーションタスクのデプロイは、ソーステーブル名またはカラム名の長さが63文字を超えると、検証中に失敗します。
• •アプリケーション取り込みとレプリケーションの増分ロードジョブにより、ターゲット上にINFORMATICA_CDC_RECOVERYという名前のリカバリテーブルが生成され、障害後に再開されたジョブが以前に処理されたデータを再度プロパゲートするのを防ぐ内部サービス情報が格納されます。このリカバリテーブルは、ターゲットテーブルと同じスキーマで生成されます。

Snowflakeターゲットのガイドライン

ターゲットの準備

1. 1データ取り込みおよびレプリケーションユーザーを作成します。次のSQL文を使用します。
create user INFACMI_User password = 'Xxxx@xxx';
2. 2新しいユーザーロールを作成し、データ取り込みおよびレプリケーションユーザーに付与します。以下のSQL文を使用します。
create role INFACMI_superpipe;
grant role INFACMI_superpipe to user INFACMI_User;
3. 3Snowflake仮想ウェアハウスの使用権限を新しいロールに付与します。次のSQL文を使用します。
grant usage on warehouse warehouse_name to role INFACMI_superpipe;
4. 4Snowflakeデータベースの使用権限を新しいロールに付与します。次のSQL文を使用します。
grant usage on database INFACMI_DB1 to role INFACMI_superpipe;
5. 5新しいスキーマを作成します。以下のSQL文を使用します。
use database INFACMI_DB1;
create schema sh_superpipe;
6. 6新しいSnowflakeスキーマに対するcreate stream、create view、およびcreate table特権を新しいロールに付与します。次のSQL文を使用します。
grant create stream, create view, create table, usage on schema INFACMI_DB1.sh_superpipe to role INFACMI_superpipe;
7. 7新しく作成されたユーザーのデフォルトのロールを設定します。次のSQL文を使用します。
alter user INFACMI_User set default_role=INFACMI_superpipe;
8. 8ターゲットへのSnowflake Data Cloud接続を定義します。認証方法として［KeyPair］オプションを使用する必要があります。「コネクタと接続」>「Snowflake Data Cloud接続プロパティ」を参照してください。
9. 9OpenSSLバージョン3.x.xと次のいずれかの暗号を使用してプライベートキーを生成します。
• - AES128
• - AES128-CBC
• - AES256
• - AES-256-CBC
10. 次のopensslコマンドを使用し、プライベートキーを生成してフォーマットします。
openssl genrsa 2048 | openssl pkcs8 -topk8 -inform PEM -v1 AES-256-CBC -out rsa_key.p8
11. 10パブリックキーを生成します。次のopensslコマンドを使用し、-inオプションで暗号化されたプライベートキーを含むファイル（rsa_key.p8）を参照します。
openssl rsa -in rsa_key.p8 -pubout -out rsa_key.pub
12. 11Snowflakeで、パブリックキーをSnowflakeユーザーに割り当てます。次のSQLコマンドを使用します。
alter user INFACMI_User set rsa_public_key='key_value’;

1. 1データ取り込みおよびレプリケーションユーザーを作成します。次のSQL文のいずれかを使用します。
create user INFACMI_User password = 'Xxxx@xxx';
または
replace user INFACMI_User password = 'Xxxx@xxx';
2. 2新しいロールを作成し、そのロールをデータ取り込みおよびレプリケーションユーザーに付与します。以下のSQL文を使用します。
create role INFA_CMI_Role;
grant role INFA_CMI_Role to user INFACMI_User;
3. 3Snowflake仮想ウェアハウスの使用権限を新しいロールに付与します。次のSQL文を使用します。
grant usage on warehouse CMIWH to role INFA_CMI_Role;
4. 4Snowflakeデータベースの使用権限を新しいロールに付与します。次のSQL文を使用します。
grant usage, CREATE SCHEMA on database CMIDB to role INFA_CMI_Role;
5. 5新しく作成されたユーザーのデフォルトのロールを設定します。次のSQL文を使用します。
alter user INFACMI_User set default_role=INFA_CMI_Role;

• •Snowflakeで外部ボリュームを作成して設定し、Snowflakeが外部クラウドストレージに接続するために使用できるIDおよびアクセス管理（IAM）エンティティを保存します。手順は、クラウドストレージのタイプ（Amazon S3、Google Cloud Storage、Azure Storageなど）によって異なります。手順については、Snowflakeのドキュメントhereを参照してください。
• •外部ボリュームとIcebergテーブルを作成し、外部ボリュームとテーブルスキーマを使用するために必要な最小限のアクセス制御権限を持つロールを作成します。手順については、Snowflakeのドキュメントhereを参照してください。

使用のガイドライン

• •データ取り込みおよびレプリケーションは、Snowflake Data Cloudターゲットにデータを移動する代替方法を提供しています。
• - 取り込みタスクを定義するときに［Superpipe］オプションを選択した場合、取り込みジョブはSnowpipe Streaming APIを使用して、短い待ち時間でデータ行をターゲットテーブルに直接ストリーミングします。この方法は、すべてのロードタイプで使用できます。［KeyPair］認証を使用する必要があります。
• - Superpipeを使用しない場合、取り込みジョブはまず、タスク定義で指定した名前を持つ内部ステージのデータファイルにデータを書き込みます。
• •Superpipeを使用せず、取り込みジョブのターゲットプロパティで指定した内部ステージが存在しない場合、データベース取り込みとレプリケーションは、次のSQLコマンドを実行してステージを自動的に作成します。
Create stage if not exists "Schema"."Stage_Bucket"”
コマンドを正常に実行するには、次の特権をユーザーロールに付与する必要があります。
GRANT CREATE STAGE ON SCHEMA "Schema" TO ROLE <your_role>;
• •アプリケーション取り込みおよびレプリケーションジョブを有効にして、Snowflakeではなく、外部クラウドであるAmazon S3、Google Cloud Storage、またはAzure Storageの場所にある、Snowflake管理のIcebergテーブルにオープン形式でデータを保存できます。詳細については、「Snowflake管理のIcebergテーブルを使用した外部クラウドストレージでのデータ保存」を参照してください。
• •Snowflakeターゲットの接続を定義するときは、［JDBC URLの追加パラメータ］フィールドにdatabase= target_database_nameと設定する必要があります。それ以外の場合は、アプリケーション取り込みとレプリケーションタスクウィザードでターゲットを定義しようとすると、スキーマのリストを取得できないことを示すエラーメッセージが表示されます。
• •［KeyPair］オプションを認証方法として使用してSnowflakeターゲットの接続を定義し、OpenSSL 3.x.xバージョンでプライベートキーを生成する場合は、プライベートキーの生成時にAES128、AES128-CBC、AES256、またはAES-256-CBC暗号を使用します。次のコマンドを実行します。
openssl genrsa 2048 | openssl pkcs8 -topk8 -inform PEM -v1 AES-256-CBC -out rsa_key.p8
OpenSSLでは、バージョン3.x.xの使用を推奨しています。
データ取り込みおよびレプリケーションでは次の暗号をサポートしています。
• - AES128
• - AES128-CBC
• - AES256
• - AES-256-CBC
• - CAMELLIA-256-CBC
• - CAMELLIA-256-CTR
• - ARIA-256-CTR
注:
CAMELLIA-256-CBC、CAMELLIA-256-CTR、およびARIA-256-CTR暗号は、パスワードで暗号化されたプライベートキーでは無効です。これらの暗号を使用して暗号化されたプライベートキーを生成するには、次のコマンドを使用します。
openssl genrsa 2048 | openssl pkcs8 -topk8 -v2 CAMELLIA-256-CTR -inform PEM -out rsa_key.p8 -nocrypt
• •増分ロードジョブにより、ターゲット上にINFORMATICA_CDC_RECOVERYという名前のリカバリテーブルが生成され、内部サービス情報が格納されます。リカバリテーブルのデータによって、障害後に再開されたジョブが以前に処理されたデータを再度プロパゲートすることが防止されます。リカバリテーブルは、ターゲットテーブルを含むスキーマで生成されます。
• •Snowflakeターゲットを持つアプリケーション取り込みおよびレプリケーション増分ロードジョブと組み合わせロードジョブは、デフォルトで、永続テーブルではなく、ターゲットにデータをステージングするための一時的な_LOGテーブルを作成します。永続テーブルが作成されないように、Snowflake Time TravelおよびFail-safe機能はデフォルトで無効になっています。一時テーブルを使用すると、_LOGテーブルストレージの消費量と関連コストを削減できます。ただし、一時テーブルでは、Superpipeオプションを使用できません。永続テーブルを作成する必要がある場合は、ターゲットのsnowflakeStagingTransientTableカスタムプロパティをfalseに設定できます。
• •スケジュールされた間隔で実行され、レコードのタイムスタンプに基づいて変更を検出する変更データキャプチャ用に設定されたアプリケーション取り込みとレプリケーションタスクでは、それぞれの間隔で各レコードの最新の変更のみがキャプチャされます。同じ間隔内にレコードに対して複数の更新が行われた場合、CDCプロセスは最新の変更のみをキャプチャし、その間隔内で行われた以前の変更は記録されません。
• •Snowflakeターゲットを持ち、Superpipeオプションを使用しているアプリケーション取り込みおよびレプリケーション増分ロードジョブと組み合わせロードジョブを停止する前に、変更ストリームの取り込まれたすべてのデータがターゲットにマージされていることを確認してください。マージされていない場合、ジョブが長期間、またはストリームの有効期限が切れる前に再開されないと、ストリームに残っているデータはすべて失われ、回復できません。
• •オブジェクトには、16MBを超えるレコードが含まれていてはいけません。
• •Snowflakeターゲットの場合、NUMBERフィールドのスケールを変更したり、既存のフィールドのデータ型を別のデータ型に変更したりすることはできません。Snowflakeではこれらの操作がサポートされていないためです。

Snowflake管理のIcebergテーブルを使用した外部クラウドストレージでのデータ保存

• •Snowflake以外のクエリ処理エンジンを使用してデータを処理できる
• •さまざまなデータ処理ツールや分析ツールで相互運用できる
• •パフォーマンスの向上
• •堅牢なセキュリティとガバナンス

• •writerTargetTableFormat。必須。このカスタムプロパティを［Iceberg］に設定して、Snowflake管理のIcebergテーブルを使用できるようにします。
• •writerTargetTableExternalVolumeName.必須。Snowflakeアカウントで作成した外部ボリュームの名前を入力します。
• •writerTargetTableExternalStorageBaseLocation.オプション。外部ストレージの場所のベースURL。この値を指定しない場合は、外部ボリューム定義のベースURLが使用されます。

• •仮テーブルや一時テーブルではなく、永続的なSnowflake管理のIcebergテーブルを使用する必要があります。
• •外部ボリュームは、Snowflakeアカウントと同じクラウドとリージョンにある必要があります。
• •サイズ仕様が制限されているCharおよびvarcharデータ型はサポートされていません。
• •時刻およびタイムスタンプのデータ型の精度はマイクロ秒です。

Snowflakeへのプライベート接続の設定

Amazon S3、Google Cloud Storage、およびMicrosoft Azure Data Lake Storage Gen2、およびMicrosoft Fabric OneLakeターゲット上のCDCファイルのデフォルトのディレクトリ構造

サイクルディレクトリ

サイクルコンテンツファイル

• •オブジェクト名
• •サイクル名
• •オブジェクトのサイクルフォルダへのパス
• •オブジェクトの開始シーケンス
• •オブジェクトの終了シーケンス
• •挿入操作の数
• •更新操作の数
• •削除操作の数
• •ロードジョブの組み合わせのみ。初期ロードフェーズ中に発生した挿入操作の数
• •ロードジョブの組み合わせのみ。初期ロードフェーズ中に発生した削除操作の数
• •スキーマバージョン
• •スキーマバージョンのスキーマファイルへのパス
注:
出力データファイルがParquet形式を使用している場合、アプリケーション取り込みとレプリケーションは、サイクルコンテンツファイルで指定されたパスにスキーマファイルを保存しません。代わりに、アプリケーション取り込みとレプリケーションタスクウィザードの［ターゲット］ページの［Avroスキーマディレクトリ］フィールドで指定されているフォルダ内のスキーマファイルを使用します。

完了サイクルファイル

• •サイクル名
• •サイクル開始時刻
• •サイクル終了時刻
• •サイクル終了時の現在のシーケンス番号
• •サイクルコンテンツファイルへのパス
• •サイクル終了の理由
有効な理由の値は、以下のとおりです。
• - NORMAL_COMMIT.サイクルがDML制限に達した後、またはサイクル間隔の終了後に、コミット操作が発生しました。サイクルはコミット境界でのみ終了できます。
• - NORMAL_EXPIRY。サイクル間隔が経過したため、サイクルが終了しました。最後の操作はコミットでした。
• - ロードジョブの組み合わせのみ: BACKLOG_COMPLETED。CDCバックログ処理が完了したため、サイクルが終了しました。CDCバックログは、ジョブの組み合わせの初期ロードフェーズ中にキャプチャされたイベントで構成されます。バックログには、初期ロードフェーズの開始時または終了時、および初期ロードフェーズからメインのCDC増分処理への移行中にキャプチャされた可能性のあるDML変更が含まれます。
• - ロードジョブの組み合わせのみ: INITIAL_LOAD_COMPLETED。初期ロードが完了したため、サイクルが終了しました。
• - ロードジョブの組み合わせのみ: RESYNC_STARTED。オブジェクトの再同期が開始されたため、サイクルが終了しました。

出力データファイル

• •操作タイプ。有効な値は以下のとおりです。
• - I: 挿入操作
• - E: 更新操作
• - D: 削除操作
• - ロードジョブの組み合わせのみ: X: ロードジョブの組み合わせの初期ロードフェーズ中に発生した削除操作
• - ロードジョブの組み合わせのみ: Y: ロードジョブの組み合わせの初期ロードフェーズ中に発生した挿入操作
• •ソート可能なシーケンス番号。初期ロードジョブと増分ロードジョブの組み合わせでは、ソート可能なシーケンス番号には20桁のプレフィックスが含まれており、これを使用して行を再同期バージョンおよびロードジョブに合わせることができます。プレフィックスは次の属性を組み合わせたものです。
1. 1インカネーション。この9桁の数字は、オブジェクトが再同期されるたびに増加します。初期値は1です。
2. 2スキーマバージョン。この9桁の数字は、オブジェクトにスキーマドリフトの変更がプロパゲートされるたびに増加します。初期値は1です。
3. 3フェーズ。この2桁の数字は、アンロードからバックログ、CDCへの移行が実行されると変化します。有効な値は以下のとおりです。
• ▪ 00: 切り詰め（初期ロードまたは再同期中に最初に書き込まれたデータレコード）
• ▪ 01: 初期ロードまたは再同期中の通常の挿入
• ▪ 02: 初期ロード中に検出された変更
• ▪ 03: 初期ロードまたは再同期が完了した後、メインのCDCフェーズに戻る前に検出された変更
• ▪ 04: 通常のCDCフェーズで検出された変更
• •データフィールド
注:
レコードの挿入と削除には、操作後のイメージのみが含まれています。レコードの更新には、更新前後のイメージが含まれています。

Amazon S3、Google Cloud Storage、Microsoft Fabric OneLake、およびADLS Gen2ターゲット上の出力ファイルのカスタムディレクトリ構造

初期ロード

• •Amazon S3接続では、この親ディレクトリは［フォルダパス］フィールドで指定されます。
• •ADLS Gen2接続では、この親ディレクトリは［ディレクトリパス］フィールドで指定されます。

増分ロード、および初期ロードと増分ロードの組み合わせ

• •Amazon S3接続では、親ディレクトリは［フォルダパス］フィールドで指定されます。
• •ADLS Gen2接続では、この親ディレクトリは［ディレクトリパス］フィールドで指定されます。

Avroデータ型