データベース取り込みとレプリケーション > 主な概念 > CDCステージンググループとタスク

CDCステージンググループとタスク

Db2 for i、Db2 for LUW、Db2 for z/OS、Oracle、Microsoft SQL Server、またはSAP HANAソースを持つ、複数のデータベース取り込みおよびレプリケーションの増分ロードタスク、または初期ロードと増分ロードの組み合わせタスクが含まれるCDCステージンググループを定義できます。Db2 for LUW、Oracle、およびSAP HANAソースは、ログベースのCDCメソッドを使用する必要があります。

ステージンググループを有効にすると、CDCステージングタスクはソースデータベースから単一パスでデータを読み取り、そのデータを共通ストレージに書き込みます。グループに関連付けた適用タスクは、共通ストレージからデータを読み取り、そのデータを別のターゲットに適用できます。

この機能によって、データを適用ジョブで何度も読み取るのではなく、CDCステージングタスクでソースログから一度読み取るだけになるため、CDCのパフォーマンスとスケーラビリティを向上させることができます。また、Secure Agentグループを使用している場合、同じSecure Agentグループ内の異なるエージェントで適用タスクを実行することができます。

注:

この機能にアクセスするには、Informaticaグローバルカスタマサポートにお問い合わせください。組織のcdir.cdc.group.enabledフラグをtrueに設定します。

CDCステージングジョブを開始するユーザーは、ステージンググループが有効になっている組織に所属している必要があります。サブ組織を使用しているときにステージンググループを有効にする場合、CDCのステージングジョブはそのサブ組織のユーザーによって開始しなければなりません。親組織からCDCステージングジョブを実行しようとすると、ジョブは開始されません。

タスクウィザードで新しいタスクを作成する場合は、既存のステージンググループにタスクを追加するか、新しいステージンググループを作成することもできます。既存のタスクをステージンググループに追加することはできません。

CDCステージンググループを使用するかどうかを決定するときは、次の点を考慮してください。

•DB2 for iソースの場合、すべてのメンバ適用タスクが同じジャーナルを使用する必要があります。
•DB2 for LUW、DB2 for z/OS、Oracle、およびSQL Serverなどのログベースのソースの場合、グループ内のタスクは、同じソースデータベースの異なるスキーマを持つ異なるテーブルを処理できます。
•Db2 for LUWおよびOracleソースは、ログベースの変更キャプチャメソッドを使用する必要があります。
•SQL Serverソースは、CDCテーブルまたはログベースの変更キャプチャメソッドを使用する必要があります。
•SAP HANAソースは、ログベースの変更キャプチャメソッドと増分ロードタイプまたは組み合わせロードタイプを使用する必要があります。ソースデータベースへの接続でキャプチャタイプをログベースに設定すると、接続を使用する各適用タスクでログベースのメソッドとCDCステージングが同じステージンググループで自動的に有効になります。ステージンググループを選択するか、最初のタスクのために新しいステージンググループを作成すると、同じ接続を使用する後続のすべての適用タスクが同じグループに追加されます。トリガーベースの変更キャプチャメソッドを使用するSAP HANAソースでCDCステージングタスクを使用することはできません。

DB2 for z/OSソースの場合、ステージンググループを使用する前に、いくつかの前提条件タスクを実行する必要がある場合があります: 1）選択したすべてのソーステーブルのDBID、OBID、およびPSID情報を保管するINFA_DATAテーブルを作成する（この情報が16 KBを超える可能性がある場合）、2）2024年11月1日以降の日付のDB2ストアドプロシージャをインストールして、このテーブルを使用して処理用に選択したテーブルを識別できるようにする。ストアドプロシージャのインストール手順については、Docポータルのデータベース取り込みおよびレプリケーションのマニュアルに移動し、「Installing and configuring the stored procedure for Db2 for z/OS CDC」を参照してください。INFA_DATAテーブルの作成については、「ステージンググループ内のDB2 for z/OSソースのINFA_DATAテーブル」を参照してください。

CDCステージングタスクは、次のタイプの共通ストレージを使用します。

•Db2 for i、Db2 for LUW、Db2 for z/OS、Oracle、およびMicrosoft SQL Serverソースの場合、CDCステージングタスクはクラウドIcebergストレージにデータを書き込みます。クラウドストレージは、Amazon S3、Google Cloud Storage、またはMicrosoft Azure Data Lake Storage Gen2（共有キー認証を使用）に配置することができます。ステージングされたデータは、デフォルトではストレージに14日間保持されますが、この保持期間は最大365日間まで調整することができます。
•SAP HANAソースの場合、CDCステージングタスクは、SAP HANA Database Ingestion接続プロパティで指定されているように、SAP HANAまたはOracleキャッシュにデータを書き込みます。各CDCステージングタスクには、固有のキャッシュデータベースと接続が必要です。Secure Agentはデータをキャッシュデータベースにステージングし、完全なレコードが使用可能になると、Secure Agentがデータをターゲットに書き込みます。デフォルトでは、データがキャッシュに保存されてから14日間経過すると、データは圧縮されますが、削除されません。この期間は、［ログのクリア］接続プロパティを使用して調整できます。

監視インタフェースでは、「CDCステージングタスク」のアセットタイプをフィルタリングし、ソース変更データをクラウドストレージにキャプチャするタスクの進行状況を表示できます。ジョブ詳細の［タスクサマリ］セクションにある［ターゲット］には、キャッシュデータベースタイプや最終的なターゲットタイプではなく、SAP HANAソース接続が反映されます。

ステージングタスクと依存タスクの間では、次のステータスの相互作用が発生する可能性があります。

•CDCステージングタスクが失敗するか、停止または中止された場合、すべての依存データベース取り込みおよびレプリケーション適用ジョブは停止します。停止した適用ジョブのデプロイを解除する必要があります。その後、CDCステージングタスクのデプロイを解除できます。

注:

依存適用ジョブを停止しないようにする場合は、ソースカスタムプロパティstopDependentsWhenGroupJobTerminatedをfalseに設定できます。

•ステージンググループ内のすべてのジョブが失敗した場合でも、CDCステージングタスクは引き続き実行されます。
•ステージンググループ内のすべてのジョブがデプロイ解除されると、CDCステージングタスクは停止します。その後、デプロイを解除できます。
•CDCステージングタスクのステータスが［中止］、［デプロイ済み］、［失敗］、または［停止］である場合、いずれかの監視インタフェースでデプロイを解除できます。タスク行で、［アクション］メニューから［デプロイ解除］を選択します。グループ内にデプロイ解除されていないジョブがある場合は、CDCステージングタスクのデプロイを解除しないでください。

CDCステージングタスクのデプロイを解除すると、Secure Agentデータベース取り込みサービス領域とクラウドキャッシュ内の一時ファイルがクリーンアップされます。また、Apache Iceberg形式のステージングテーブルもクリーンアップされます。

•CDCステージングタスクをデプロイ解除して再デプロイすると、クラウドストレージへのデータのステージングが最初からやり直され、クラウドストレージ内の以前のコンテンツは保持されません。

ステージンググループ内のDB2 for z/OSソースのINFA_DATAテーブル

CDCステージングタスクに対して選択したソーステーブルを識別する情報が16 KBを超えると予想される場合は、INFA_DATAテーブルをインストールするか、手動で作成する必要があります。このテーブルには、ステージンググループに関連付けられているタスクで選択された各ソーステーブルのDBID、OBID、およびPSID情報が格納されます。

INFA_DATAテーブルが存在せず、これらの値の計算された長さが16 KBを超える場合、CDCステージングタスクは失敗します。

INFA_DATAテーブルは、#INFATBLインストールメンバーを使用して作成することができます。インストールメンバーには、テーブルを作成するための次のようなSQL文が含まれています。

CREATE TABLE <schema>.INFA_DATA
(INFA_CODE CHARACTER(2) NOT NULL
,INFA_GROUP_ID INTEGER NOT NULL
,INFA_SEQ INTEGER NOT NULL
,INFA_TS TIMESTAMP (6) WITHOUT TIME ZONE NOT NULL
,INFA_DATA VARCHAR(4096)
,PRIMARY KEY(INFA_CODE,INFA_GROUP_ID,INFA_SEQ,INFA_TS)
)
APPEND NO
DATA CAPTURE CHANGES
CCSID EBCDIC;

注:

必要に応じて、デフォルト名INFA_DATA以外のテーブル名を使用することもできます。

INFA_DATAテーブルに対する次の権限を、プライマリソース接続の接続プロパティで指定されたユーザーに付与します。

GRANT INSERT ON <schema>.INFA_DATA to <stagingtask_connecton_user>;
GRANT DELETE ON <schema>.INFA_DATA to <stagingtask_connecton_user>;
GRANT EXECUTE <schema>.INFA_DATA to <stagingtask_connecton_user>;
COMMIT;

説明：

•<schema>は、pwx.cdcreader.ZOS.InfaTableSchemaカスタムプロパティによって指定されますが、このカスタムプロパティが指定されていない場合、<schema>はデフォルトでDB2ストアドプロシージャのスキーマ名になります。
•INFA_DATAはデフォルトのテーブル名です。テーブルの作成時に別の名前を指定した場合は、その名前を使用します。
•GRANT文の<schema>.<table>値は、#INFATBLインストールメンバーのCREATE文の情報と一致している必要があります。