プロパティ | 説明 |
---|---|
名前 | データベース取り込みとレプリケーションタスクの名前。 タスク名には、ラテン英数字、スペース、ピリオド(.)、コンマ(,)、アンダースコア(_)、プラス記号(+)、およびハイフン(-)を含めることができます。タスク名に他の特殊文字を含めることはできません。 タスク名では大文字と小文字は区別されません。 最大長は50文字です。 注: データベース取り込みとレプリケーションタスク名にスペースを含めると、タスクをデプロイした後、対応するジョブ名にスペースが表示されなくなります。 |
場所 | タスク定義を含むプロジェクトまたはプロジェクト\フォルダ。デフォルトは、Exploreで現在選択されているプロジェクトまたはプロジェクトのサブフォルダです。プロジェクトまたはプロジェクトのサブフォルダが選択されていない場合、デフォルトは[デフォルト]プロジェクトになります。 |
ランタイム環境 | タスクを実行するランタイム環境。 ランタイム環境は、1つ以上のSecure Agentで構成されるSecure Agentグループである必要があります。Secure Agentは、タスクを実行し、安全な通信を可能にする軽量のプログラムです。 データベース取り込みおよびレプリケーションタスクの場合、Cloudホステッドエージェントはサポートされておらず、[ランタイム環境]リストに表示されません。サーバーレスランタイム環境もサポートされていません。 ヒント: [更新]アイコンをクリックして、ランタイム環境のリストを更新します。 |
説明 | タスクのオプションの説明。 最大長は4,000文字です。 |
ロードタイプ | データベース取り込みとレプリケーションタスクを実行するロード操作のタイプ。次のオプションがあります。
注: 初期アンロードロードフェーズ中に変更レコードがキャプチャされた場合、その変更レコードはアンロードフェーズが完了するまで適用処理の対象から外されます。アンロードフェーズ中にキャプチャされた挿入行は、削除操作と挿入操作のペアに変換され、アンロードされたデータとキャプチャされた変更データの両方で挿入が発生した場合は、1つの挿入行のみがターゲットに適用されるようになります。 |
フィールド | 説明 |
---|---|
レプリケーションスロット名 | PostgreSQLレプリケーションスロットの一意の名前。 スロット名には、小文字のラテン英数字とアンダースコア(_)文字を含めることができます。 最大長は63文字です。 重要: 各データベース取り込みとレプリケーションタスクは、異なるレプリケーションスロットを使用する必要があります。 |
レプリケーションプラグイン | PostgreSQLレプリケーションプラグイン。次のオプションがあります。
|
パブリケーション | レプリケーションプラグインとしてpgoutputを選択した場合は、このプラグインが使用するパブリケーション名を指定します。 注: レプリケーションプラグインとしてwal2jsonを選択した場合、このフィールドは表示されません。 |
方法 | サポートされるソース | 説明 |
---|---|---|
CDCテーブル | SQL Serverのみ | SQL Server CDCテーブルからデータ変更を直接読み取ります。 SQL Serverソースの場合は、この方法によって最高のレプリケーションパフォーマンスが得られ、結果の信頼性が最大になります。 |
ログベース | OracleおよびSQL Server | データベーストランザクションログを読み取ることによって、挿入、更新、削除、およびカラムのDDL変更を近似リアルタイムでキャプチャします。 Oracleソースの場合、データ変更はOracle REDOログから読み取られます。 SQL Serverソースの場合、データ変更はSQL Serverトランザクションログと有効なSQL Server CDCテーブルから読み取られます。例外: Azure SQL Databaseソースの場合、データ変更はCDCテーブルからのみ読み取られます。 |
クエリベース | Db2 for LUW、Oracle、およびSQL Server | CDCクエリカラムを指すSQL WHERE句を使用して、挿入と更新をキャプチャします。クエリカラムは、CDC間隔の開始以降にソーステーブルに加えられた変更を含む行の識別に使用されます。 増分ロードジョブおよび初期ロードと増分ロードの組み合わせジョブのDb2 for LUWソースの場合、このキャプチャメソッドのみ使用できます。 |
フィールド | 説明 |
---|---|
status | データベース取り込みとレプリケーションにサポートされていないタイプがある場合に、ソーステーブルまたはカラムを処理から除外するかどうかを示します。有効な値は以下のとおりです。
|
schema_name | ソーススキーマの名前を指定します。 |
table_name | ソーステーブルの名前を指定します。 |
object_type | ソースオブジェクトのタイプを指定します。有効な値は以下のとおりです。
|
column_name | ソースカラムの名前を指定します。この情報は、[カラム]チェックボックスを選択した場合にのみ表示されます。 |
comment | サポートされていないタイプのソースオブジェクトが、選択ルールに一致していても処理から除外される理由を指定します。 |
プロパティ | ソースとロードタイプ | 説明 |
---|---|---|
フラッシュバックの無効化 | Oracleソース - 初期ロード | データベースからデータを取得するときにデータベース取り込みとレプリケーションがOracle Flashbackを使用できないようにするには、このチェックボックスを選択します。 Oracle Flashbackを使用するには、ユーザーにEXECUTE ON DBMS_FLASHBACK権限を付与する必要があります。これは、初期ロードには必要ありません。 このチェックボックスは、新しい初期ロードタスクに対してデフォルトで選択されています。既存の初期ロードタスクの場合、このチェックボックスはデフォルトでクリアされているため、Oracle Flashbackは有効のままになります。パーティション化が有効なタスクの場合、このチェックボックスは自動的に選択され、編集できません。 |
LOBを含める | Oracleソース:
増分ロードおよび組み合わせロードでは、[ログベース]または[クエリベース]のCDCメソッドのいずれかを使用できます。ただし、[ログベース]のCDCメソッドを使用するジョブは、LONG、LONG RAW、およびXMLカラムのデータを、生成されたターゲットカラムにレプリケートしません。 Db2 for LUWソース:
PostgreSQLソース:
SQL Serverソース:
| ターゲットにデータをレプリケートするラージオブジェクト(LOB)カラムがソースに含まれている場合は、このチェックボックスを選択します。 LOBデータ型:
LOBデータは、主にターゲットで許可されている最大サイズに応じて切り詰められる場合があります。 ターゲット側の切り詰めポイント:
ソース側の切り詰めに関する考慮事項:
|
永続ストレージの有効化 | Db2 for LUW(クエリベースのCDC)、MongoDB、Oracle(クエリベースのCDC)、PostgreSQL、SAP HANA、SAP HANA Cloud、およびSQL Server(クエリベースのCDC)を除くすべてのソース - 増分ロード、および初期ロードと増分ロードの組み合わせ。 クエリベースのCDCメソッドを使用するDb2 for LUW、Oracle、およびSQL Serverソースの場合、このフィールドは表示されません。これは、永続ストレージがデフォルトで有効になっていて変更できないためです。 MongoDB、PostgreSQL、SAP HANA、およびSAP HANA Cloud変更データソースの場合、永続ストレージがデフォルトで有効になっていて変更できないため、このフィールドは表示されません。 | ターゲットへのデータの書き込みが遅い場合や遅延している場合でもデータを継続的に使用できるようにディスクバッファへのトランザクションデータの永続ストレージを有効にするには、このチェックボックスを選択します。 永続ストレージを使用する利点は、ソーストランザクションログの消費が高速になり、ログアーカイブやバックアップへの依存度が低くなるため、データベース取り込みジョブを再開した後もディスクストレージ内の永続データに引き続きアクセスできることです。 |
パーティション化の有効化 | Oracleソース - 初期ロード、および初期ロードと増分ロードの組み合わせ SQL Serverソース - 初期ロード、および初期ロードと増分ロードの組み合わせ | ソースオブジェクトのパーティション化を有効にする場合は、このチェックボックスを選択します。オブジェクトがパーティション化されると、データベース取り込みとレプリケーションジョブは、各パーティションから読み取ったレコードを並列処理します。 Oracleソースの場合、データベース取り込みとレプリケーションはROWIDをパーティションキーとして使用して、パーティションの範囲を決定します。また、[パーティション化の有効化]チェックボックスを選択すると、[フラッシュバックの無効化]チェックボックスが自動的に選択されます。 SQL Serverソースの場合、パーティション化はプライマリキーに基づきます。 注: 初期ロードと増分ロードを組み合わせた場合、ソースオブジェクトのパーティション化は初期ロードフェーズでのみ行われます。 |
パーティションの数 | Oracleソース - 初期ロード、および初期ロードと増分ロードの組み合わせ SQL Serverソース - 初期ロード、および初期ロードと増分ロードの組み合わせ | ソースオブジェクトのパーティション化を有効にする場合、作成するパーティションの数を入力します。デフォルト数は5です。最小値は2です。 |
増分ロード操作の当初の開始点 | すべてのソース - 増分ロード | ソースログ内の位置をカスタマイズする場合は、このフィールドを設定します。データベース取り込みとレプリケーションジョブは、最初に実行されたときに変更レコードの読み取りをこの位置から開始します。 次のオプションがあります。
MySQLソースの場合、このオプションは使用できません。 デフォルトは[使用可能な最新]です。 |
取得サイズ | MongoDB - 初期ロードと増分ロード | MongoDBソースの場合、データベース取り込みとレプリケーションジョブがソースから一度に読み取る必要があるレコードの数。有効な値は1~2147483647です。デフォルトは5000。 |
プロパティ | 説明 |
---|---|
ターゲット作成 | 利用可能なただ1つのオプションは、[ターゲットテーブルを作成する]であり、これによりソーステーブルをベースにしてターゲットテーブルを生成します。 注: ターゲットテーブルが作成された後、データベース取り込みとレプリケーションは、後続のジョブ実行でターゲットテーブルをインテリジェントに処理します。データベース取り込みとレプリケーションは、特定の状況に応じて、ターゲットテーブルを切り詰めたり再作成したりする場合があります。 |
スキーマ | データベース取り込みとレプリケーションがターゲットテーブルを作成するターゲットスキーマを選択します。 |
バケット | Amazon Redshiftに読み込むデータオブジェクトへのアクセスを保存、整理、制御するAmazon S3のバケットコンテナの名前を指定します。 |
データディレクトリまたはタスクターゲットディレクトリ | データベース取り込みとレプリケーションがタスクに関連付けられたジョブの出力ファイルを格納するサブディレクトリを指定します。このフィールドは、初期ロードジョブの場合は[データディレクトリ]、増分ロードジョブ、または初期ロードと増分ロードの組み合わせジョブの場合は[タスクターゲットディレクトリ]と呼ばれます。 |
プロパティ | 説明 |
---|---|
大文字と小文字の変換を有効にする | デフォルトでは、ターゲットテーブル名およびカラム名は、対応するソース名と同じ大文字と小文字で生成されます。ただし、ターゲットのクラスタレベルまたはセッションレベルのプロパティがこの大文字と小文字を区別する動作をオーバーライドしている場合を除きます。ターゲット名の大文字と小文字を制御する場合は、このチェックボックスを選択します。次に、[大文字と小文字の変換ストラテジ]オプションを選択します。 |
大文字と小文字の変換ストラテジ | [大文字と小文字の変換を有効にする]を選択した場合は、以下のいずれかのオプションを選択して、生成されたターゲットテーブル(またはオブジェクト)名およびカラム(またはフィールド)名の大文字と小文字の処理方法を指定します。
デフォルト値は、[ソースと同じ]です。 注: 選択したストラテジは、大文字と小文字の制御に関するターゲットのクラスタレベルまたはセッションレベルのプロパティをオーバーライドします。 |
プロパティ | 説明 |
---|---|
出力形式 | 出力ファイルの形式を選択します。次のオプションがあります。
デフォルトの値は[CSV]です。 注: CSV形式の出力ファイルでは、各フィールドの区切り文字として二重引用符("")が使用されます。 |
CSVファイルへのヘッダーの追加 | [CSV]が出力形式として選択されている場合は、このチェックボックスをオンにして、ソース列名を含むヘッダーを出力CSVファイルに追加します。 |
Avro形式 | 出力形式として[AVRO]を選択した場合、ソーステーブルごとに作成されるAvroスキーマの形式を選択します。次のオプションがあります。
デフォルト値は[Avro-Flat]です。 |
Avroシリアル化形式 | 出力形式として[AVRO]が選択されている場合は、Avro出力ファイルのシリアル化形式を選択します。次のオプションがあります。
デフォルト値は[Binary]です。 |
Avroスキーマディレクトリ | 出力形式として[AVRO]が選択されている場合は、データベース取り込みとレプリケーションが各ソーステーブルのAvroスキーマ定義を格納しているローカルディレクトリを指定します。スキーマ定義ファイルには、次の命名パターンがあります。 schemaname_tablename.txt 注: このディレクトリが指定されていない場合、Avroスキーマ定義ファイルは作成されません。 |
ファイル圧縮タイプ | CSVまたはAVRO出力形式の出力ファイルのファイル圧縮タイプを選択します。次のオプションがあります。
デフォルト値は[なし]、これは圧縮が使用されないことを意味します。 |
暗号化タイプ | Amazon S3ファイルをターゲットに書き込むときに、ファイルの暗号化タイプを選択します。次のオプションがあります。
デフォルトは[なし]です。これは暗号化が使用されないことを意味します。 |
Avro圧縮タイプ | [AVRO]が出力形式としてが選択されている場合は、Avro圧縮タイプを選択します。次のオプションがあります。
デフォルト値は[なし]、これは圧縮が使用されないことを意味します。 |
Parquet圧縮タイプ | [PARQUET]出力形式が選択されている場合、Parquetでサポートされている圧縮タイプを選択できます。次のオプションがあります。
デフォルト値は[なし]、これは圧縮が使用されないことを意味します。 |
Deflate圧縮レベル | [Deflate]が[Avro圧縮タイプ]フィールドで選択されている場合、圧縮レベルとして0~9を指定します。デフォルトは0です。 |
ディレクトリタグの追加 | 増分ロードタスク、および初期ロードと増分ロードの組み合わせタスクの場合、Hiveパーティショニングの命名規則と互換性を持たせるために適用サイクルディレクトリの名前に「dt=」プレフィックスを追加するには、このチェックボックスをオンにします。このチェックボックスはデフォルトでオフになっています。 |
タスクターゲットディレクトリ | 増分ロードタスク、および初期ロードと増分ロードの組み合わせタスクの場合、出力データファイル、スキーマファイル、およびCDCサイクルのコンテンツと完了ファイルを保持する他のディレクトリのルートディレクトリ。このフィールドを使用して、タスクのカスタムルートディレクトリを指定できます。[親としての接続ディレクトリ]オプションを有効にしている場合は、必要に応じて、接続プロパティで指定された親ディレクトリで使用するタスクターゲットディレクトリを指定できます。 このフィールドは、次のディレクトリフィールドのいずれかのパターンで{TaskTargetDirectory}プレースホルダが指定されている場合は必須です。 |
親としての接続ディレクトリ | ターゲット接続プロパティで指定されたディレクトリ値を、タスクターゲットプロパティで指定されたカスタムディレクトリパスの親ディレクトリとして使用するようにするには、このチェックボックスをオンにします。初期ロードタスクの場合、親ディレクトリは、データディレクトリとスキーマディレクトリで使用されます。増分ロードタスク、および初期ロードと増分ロードの組み合わせタスクの場合、親ディレクトリはデータディレクトリ、スキーマディレクトリ、サイクル完了ディレクトリ、およびサイクルコンテンツディレクトリで使用されます。 このチェックボックスはデフォルトで選択されています。オフにしたとき、初期ロードの場合は、[データディレクトリ]フィールドで出力ファイルへのフルパスを定義します。増分ロードの場合は、必要に応じて[タスクターゲットディレクトリ]でタスクのルートディレクトリを指定します。 |
データディレクトリ | 初期ロードタスクの場合、データベース取り込みとレプリケーションが出力データファイルとオプションでスキーマを保存するディレクトリのディレクトリ構造を定義します。ディレクトリパターンを定義するには、次のタイプのエントリを使用できます。
注: プレースホルダの値の大文字と小文字は区別されません。 例: myDir1/{SchemaName}/{TableName} myDir1/myDir2/{SchemaName}/{YYYY}/{MM}/{TableName}_{Timestamp} myDir1/{toLower(SchemaName)}/{TableName}_{Timestamp} デフォルトのディレクトリパターンは{TableName)_{Timestamp}です。 増分ロードタスク、および初期ロードと増分ロードの組み合わせタスクの場合は、cdc-dataデータファイルを含むサブディレクトリへのカスタムパスを定義します。ディレクトリパターンを定義する場合は、次のタイプのエントリを使用します。
toUpperまたはtoLower関数を含める場合は、前の例に示すように、プレースホルダ名を丸かっこで囲み、関数とプレースホルダの両方を中かっこで囲みます。 デフォルトのディレクトリパターンは{TaskTargetDirectory}/data/{TableName}/dataです。 注: Amazon S3、フラットファイル、Microsoft Azure Data Lake Storage Gen2、およびOracle Cloud Object Storeターゲットでは、[親としての接続ディレクトリ]が選択されている場合、データベース取り込みとレプリケーションは、ターゲット接続プロパティで指定されたディレクトリをデータディレクトリパスのルートとして使用します。Google Cloud Storageターゲットの場合、データベース取り込みとレプリケーションは取り込みタスクのターゲットプロパティで指定したバケット名を使用します。Microsoft Fabric OneLakeターゲットの場合、親ディレクトリは、Microsoft Fabric OneLake接続プロパティの[レイクハウスのパス]フィールドで指定されたパスです。 |
スキーマディレクトリ | デフォルトディレクトリ以外のディレクトリにスキーマファイルを保存する場合は、スキーマファイルを保存するカスタムディレクトリを指定できます。初期ロードの場合、便利になるように、以前に使用した値を使用できる場合はそれがドロップダウンリストに表示されます。このフィールドはオプションです。 初期ロードの場合、デフォルトでは、スキーマはデータディレクトリに保存されます。増分ロード、および初期ロードと増分ロードの組み合わせの場合、スキーマファイルのデフォルトディレクトリは{TaskTargetDirectory}/data/{TableName}/schemaです。 [データディレクトリ]フィールドと同じプレースホルダを使用できます。プレースホルダは必ず中かっこ{ }で囲んでください。 toUpperまたはtoLower関数を含める場合は、{toLower(SchemaName)}のように、プレースホルダ名を丸かっこで囲み、関数とプレースホルダの両方を中かっこで囲みます。 注: スキーマは、CSV形式で出力データファイルにのみ書き込まれます。ParquetおよびAvro形式のデータファイルには、独自の埋め込みスキーマが含まれています。 |
サイクル完了ディレクトリ | 増分ロードタスク、および初期ロードと増分ロードの組み合わせタスクの場合、サイクル完了ファイルを含むディレクトリへのパス。デフォルトは{TaskTargetDirectory}/cycle/completedです。 |
サイクルコンテンツディレクトリ | 増分ロードタスク、および初期ロードと増分ロードの組み合わせタスクの場合、サイクルコンテンツファイルを含むディレクトリへのパス。デフォルトは{TaskTargetDirectory}/cycle/contentsです。 |
データディレクトリにサイクルのパーティション化を使用する | 増分ロードタスク、および初期ロードと増分ロードの組み合わせタスクの場合、各データディレクトリの下に、CDCサイクルごとにタイムスタンプサブディレクトリが作成されます。 このオプションが選択されていない場合、別のディレクトリ構造を定義しない限り、個々のデータファイルがタイムスタンプなしで同じディレクトリに書き込まれます。 |
サマリディレクトリにサイクルのパーティション化を使用する | 増分ロードタスク、および初期ロードと増分ロードの組み合わせタスクの場合は、サマリコンテンツサブディレクトリおよび完了サブディレクトリの下にCDCサイクルごとにタイムスタンプサブディレクトリが作成されます。 |
コンテンツ内の個々のファイルを一覧表示する | 増分ロードタスク、および初期ロードと増分ロードの組み合わせタスクの場合は、コンテンツサブディレクトリの下に個々のデータファイルが一覧表示されます。 [サマリディレクトリにサイクルのパーティション化を使用する]がオフの場合は、このオプションがデフォルトでオンになります。タイムスタンプや日付などのプレースホルダを使用してカスタムサブディレクトリを設定できる場合を除き、コンテンツサブディレクトリ内の個々のファイルがすべて一覧表示されます。 [データディレクトリにサイクルのパーティション化を使用する]が選択されている場合でも、必要に応じてこのチェックボックスを選択して、個々のファイルを一覧表示し、CDCサイクルごとにグループ化することができます。 |
プロパティ | 説明 |
---|---|
操作タイプの追加 | ジョブがターゲットにプロパゲートする出力にソースSQL操作タイプを記録するメタデータカラムを追加するには、このチェックボックスを選択します。 増分ロードの場合、ジョブは、挿入を表す「I」、更新を表す「U」、または削除を表す「D」を書き込みます。初期ロードの場合、ジョブは常に、挿入を表す「I」を書き込みます。 デフォルトでは、このチェック ボックスは、増分ロードジョブ、初期および増分ロードジョブの場合はオンになっており、初期ロードジョブの場合はオフになっています。 |
操作時間の追加 | ジョブがターゲットにプロパゲートする出力にソースSQL操作タイムスタンプを記録するメタデータカラムを追加するには、このチェックボックスをオンにします。 初期ロードの場合、ジョブは常に現在の日付と時刻を書き込みます。 デフォルトでは、このチェックボックスは選択されていません。 |
操作所有者の追加 | ジョブがターゲットにプロパゲートする出力にソースSQL操作の所有者を記録するメタデータカラムを追加するには、このチェックボックスを選択します。 初期ロードの場合、ジョブは常に所有者として「INFA」を書き込みます。 デフォルトでは、このチェックボックスは選択されていません。 このプロパティは、MongoDBソースまたはPostgreSQLソースを持つジョブでは使用できません。 注: このプロパティは、SQL Serverソースを持ち、CDCテーブルキャプチャメソッドを使用するおよびジョブではサポートされていません。 |
操作トランザクションIDの追加 | ジョブがSQL操作のターゲットにプロパゲートする出力にソーストランザクションIDを含むメタデータカラムを追加するには、このチェックボックスを選択します。 初期ロードの場合、ジョブは常にIDとして「1」を書き込みます。 デフォルトでは、このチェックボックスは選択されていません。 |
前のイメージを追加 | ジョブがターゲットに書き込む出力にUNDOデータを含めるには、このチェックボックスを選択します。 初期ロードの場合、ジョブはnullを書き込みます。 デフォルトでは、このチェックボックスは選択されていません。 |
プロパティ | 説明 |
---|---|
ターゲット作成 | 利用可能なただ1つのオプションは、[ターゲットテーブルを作成する]であり、これによりソーステーブルをベースにしてターゲットテーブルを生成します。 注: ターゲットテーブルが作成された後、データベース取り込みとレプリケーションは、後続のジョブ実行でターゲットテーブルをインテリジェントに処理します。データベース取り込みとレプリケーションは、特定の状況に応じて、ターゲットテーブルを切り詰めたり再作成したりする場合があります。 |
スキーマ | データベース取り込みとレプリケーションがターゲットテーブルを作成するターゲットスキーマを選択します。 |
適用モード | 増分ロードジョブ、および初期ロードと増分ロードの組み合わせジョブの場合に、挿入、更新、削除といったソースDMLの変更がターゲットにどのように適用されるかを示します。次のオプションがあります。
処理を完了するために論理的に削除されたデータが必要となる、長期にわたるビジネスプロセスがある場合、誤って削除したデータを復元する必要がある場合、または削除された値を監査目的で追跡する必要がある場合は、論理削除の使用を検討してください。 注: [論理削除]モードを使用する場合は、ソーステーブルのプライマリキーに対して更新を実行しないでください。そうしないと、ターゲットでデータ破損が発生する可能性があります。 デフォルト値は[標準]です。 注: タスクウィザードの[ソース]ページで手法として[クエリベースのCDC]を選択した場合、このフィールドは表示されません。 |
データディレクトリまたはタスクターゲットディレクトリ | データベース取り込みとレプリケーションがタスクに関連付けられたジョブの出力ファイルを格納するサブディレクトリを指定します。このフィールドは、初期ロードジョブの場合は[データディレクトリ]、増分ロードジョブ、または初期ロードと増分ロードの組み合わせジョブの場合は[タスクターゲットディレクトリ]と呼ばれます。 |
プロパティ | 説明 |
---|---|
操作タイプの追加 | ジョブがターゲットデータベースにプロパゲートする出力、またはターゲットテーブルに挿入する出力にソースSQL操作タイプを記録するメタデータカラムを追加するには、このチェックボックスを選択します。 このフィールドは、[適用モード]オプションが[監査]または[論理削除]に設定されている場合にのみ使用できます。 監査モードでは、ジョブによって、挿入を表す「I」、更新を表す「U」、または削除を表す「D」が書き込まれます。 論理削除モードでは、ジョブは削除の場合は「D」を書き込み、挿入と更新の場合はNULLを書き込みます。操作タイプがNULLの場合、他の[操作の追加...]メタデータカラムもNULLです。操作タイプが「D」の場合にのみ、他のメタデータカラムにNULL以外の値が含まれます。 デフォルトでは、このチェックボックスは選択されています。論理削除を使用している場合は、選択を解除できません。 |
操作時間の追加 | ジョブがターゲットデータベースにプロパゲートする出力、またはターゲットシステムの監査テーブルに挿入する出力にソースSQL操作のタイムスタンプを記録するメタデータカラムを追加するには、このチェックボックスを選択します。 このフィールドは、[適用モード]が[監査]または[論理削除]に設定されている場合にのみ使用できます。 デフォルトでは、このチェックボックスは選択されていません。 |
操作所有者の追加 | ジョブがターゲットデータベースにプロパゲートする出力、またはターゲットシステムの監査テーブルに挿入する出力にソースSQL操作の所有者を記録するメタデータカラムを追加するには、このチェックボックスを選択します。 このフィールドは、[適用モード]が[監査]または[論理削除]に設定されている場合にのみ使用できます。 デフォルトでは、このチェックボックスは選択されていません。 このプロパティは、MongoDBソースまたはPostgreSQLソースを持つジョブでは使用できません。 注: このプロパティは、SQL Serverソースを持ち、CDCテーブルキャプチャメソッドを使用するおよびジョブではサポートされていません。 |
操作トランザクションIDの追加 | ジョブがSQL操作のターゲットにプロパゲートする出力にソーストランザクションIDを含むメタデータカラムを追加するには、このチェックボックスを選択します。 このフィールドは、[適用モード]が[監査]または[論理削除]に設定されている場合にのみ使用できます。 デフォルトでは、このチェックボックスは選択されていません。 |
操作シーケンスの追加 | ジョブがターゲットシステムの監査テーブルに挿入する変更操作ごとに、生成された昇順のシーケンス番号を記録するメタデータカラムを追加するには、このチェックボックスを選択します。シーケンス番号には、操作の変更ストリーム位置が反映されます。 このフィールドは、[適用モード]が[監査]に設定されている場合にのみ使用できます。 デフォルトでは、このチェックボックスは選択されていません。 |
前のイメージを追加 | ジョブがターゲットテーブルに挿入する出力にUNDOの「操作前のイメージ」データを含む_OLDカラムを追加するには、このチェックボックスを選択します。これにより、各データカラムの以前の値と現在の値を比較できるようになります。削除操作の場合、現在の値はNULLになります。 このフィールドは、[適用モード]が[監査]に設定されている場合にのみ使用できます。 デフォルトでは、このチェックボックスは選択されていません。 |
メタデータカラムのプレフィックス | 追加されたメタデータカラムの名前にプレフィックスを追加し、それらを簡単に識別して、既存のカラムの名前との競合を防ぐことができるようにします。 デフォルト値はINFA_です。 |
アンマネージドテーブルの作成 | タスクでDatabricksターゲットテーブルをアンマネージドテーブルとして作成する場合は、このチェックボックスを選択します。タスクをデプロイした後は、このフィールドを編集してマネージドテーブルに切り替えることはできません。 デフォルトでは、このオプションはオフになっており、マネージドテーブルが作成されます。 Databricksのマネージドテーブルとアンマネージドテーブルの詳細については、Databricksのドキュメントを参照してください。 |
非管理対象テーブルの親ディレクトリ | Databricksアンマネージドテーブルを作成する場合は、キャプチャされたDMLレコードの処理時にターゲットテーブルごとに生成されるParquetファイルを保持するために、Amazon S3またはMicrosoft Azure Data Lake Storageに存在する親ディレクトリを指定する必要があります。 注: Unity Catalogを使用するには、既存の外部ディレクトリを指定する必要があります。 |
プロパティ | 説明 |
---|---|
出力形式 | 出力ファイルの形式を選択します。次のオプションがあります。
デフォルトの値は[CSV]です。 注: CSV形式の出力ファイルでは、各フィールドの区切り文字として二重引用符("")が使用されます。 |
CSVファイルへのヘッダーの追加 | [CSV]が出力形式として選択されている場合は、このチェックボックスをオンにして、ソース列名を含むヘッダーを出力CSVファイルに追加します。 |
Avro形式 | 出力形式として[AVRO]を選択した場合、ソーステーブルごとに作成されるAvroスキーマの形式を選択します。次のオプションがあります。
デフォルト値は[Avro-Flat]です。 |
Avroシリアル化形式 | 出力形式として[AVRO]が選択されている場合は、Avro出力ファイルのシリアル化形式を選択します。次のオプションがあります。
デフォルト値は[Binary]です。 |
Avroスキーマディレクトリ | 出力形式として[AVRO]が選択されている場合は、データベース取り込みとレプリケーションが各ソーステーブルのAvroスキーマ定義を格納しているローカルディレクトリを指定します。スキーマ定義ファイルには、次の命名パターンがあります。 schemaname_tablename.txt 注: このディレクトリが指定されていない場合、Avroスキーマ定義ファイルは作成されません。 |
ファイル圧縮タイプ | CSVまたはAVRO出力形式の出力ファイルのファイル圧縮タイプを選択します。次のオプションがあります。
デフォルト値は[なし]、これは圧縮が使用されないことを意味します。 |
Avro圧縮タイプ | [AVRO]が出力形式としてが選択されている場合は、Avro圧縮タイプを選択します。次のオプションがあります。
デフォルト値は[なし]、これは圧縮が使用されないことを意味します。 |
Deflate圧縮レベル | [Deflate]が[Avro圧縮タイプ]フィールドで選択されている場合、圧縮レベルとして0~9を指定します。デフォルトは0です。 |
データディレクトリ | 初期ロードタスクの場合、データベース取り込みとレプリケーションが出力データファイルとオプションでスキーマを保存するディレクトリのディレクトリ構造を定義します。ディレクトリパターンを定義するには、次のタイプのエントリを使用できます。
注: プレースホルダの値の大文字と小文字は区別されません。 例: myDir1/{SchemaName}/{TableName} myDir1/myDir2/{SchemaName}/{YYYY}/{MM}/{TableName}_{Timestamp} myDir1/{toLower(SchemaName)}/{TableName}_{Timestamp} デフォルトのディレクトリパターンは{TableName)_{Timestamp}です。 注: フラットファイルターゲットの場合、[親としての接続ディレクトリ]が選択されていると、データベース取り込みおよびレプリケーションはターゲット接続プロパティで指定されたディレクトリをデータディレクトリパスのルートとして使用します。 |
親としての接続ディレクトリ | 初期ロードタスクの場合、ターゲット接続プロパティで指定されたディレクトリ値を、タスクターゲットプロパティで指定されたカスタムディレクトリパスの親ディレクトリとして使用するようにするには、このチェックボックスを選択します。親ディレクトリは、データディレクトリとスキーマディレクトリで使用されます。 |
スキーマディレクトリ | 初期ロードタスクの場合、デフォルトディレクトリ以外のディレクトリにスキーマファイルを保存する場合は、スキーマファイルを保存するカスタムディレクトリを指定できます。このフィールドはオプションです。 デフォルトでは、スキーマはデータディレクトリに保存されます。増分ロードの場合、スキーマファイルのデフォルトディレクトリは、{TaskTargetDirectory}/data/{TableName}/schemaです。 [データディレクトリ]フィールドと同じプレースホルダを使用できます。プレースホルダが中括弧{}で囲まれていることを確認します。 |
プロパティ | 説明 |
---|---|
操作タイプの追加 | ジョブがターゲットに伝播する出力にソースSQL操作タイプを含むメタデータカラムを追加するには、このチェックボックスを選択します。 初期ロードの場合、ジョブは常に挿入を表す「I」を書き込みます。 デフォルトでは、このチェックボックスはオフです。 |
操作時間の追加 | ジョブがターゲットにプロパゲートする出力にソースSQL操作タイムスタンプを記録するメタデータカラムを追加するには、このチェックボックスをオンにします。 初期ロードの場合、ジョブは常に現在の日付と時刻を書き込みます。 デフォルトでは、このチェックボックスは選択されていません。 |
操作所有者の追加 | ジョブがターゲットにプロパゲートする出力にソースSQL操作の所有者を記録するメタデータカラムを追加するには、このチェックボックスを選択します。 初期ロードの場合、ジョブは常に所有者として「INFA」を書き込みます。 デフォルトでは、このチェックボックスは選択されていません。 このプロパティは、MongoDBソースまたはPostgreSQLソースを持つジョブでは使用できません。 注: このプロパティは、SQL Serverソースを持ち、CDCテーブルキャプチャメソッドを使用するおよびジョブではサポートされていません。 |
操作トランザクションIDの追加 | ジョブがSQL操作のターゲットにプロパゲートする出力にソーストランザクションIDを含むメタデータカラムを追加するには、このチェックボックスを選択します。 初期ロードの場合、ジョブは常にIDとして「1」を書き込みます。 デフォルトでは、このチェックボックスは選択されていません。 |
前のイメージを追加 | ジョブがターゲットに書き込む出力にUNDOデータを含めるには、このチェックボックスを選択します。 初期ロードの場合、ジョブはnullを書き込みます。 デフォルトでは、このチェックボックスは選択されていません。 |
プロパティ | 説明 |
---|---|
ターゲット作成 | 利用可能なただ1つのオプションは、[ターゲットテーブルを作成する]であり、これによりソーステーブルをベースにしてターゲットテーブルを生成します。 注: ターゲットテーブルが作成された後、データベース取り込みとレプリケーションは、後続のジョブ実行でターゲットテーブルをインテリジェントに処理します。データベース取り込みとレプリケーションは、特定の状況に応じて、ターゲットテーブルを切り詰めたり再作成したりする場合があります。 |
スキーマ | データベース取り込みとレプリケーションがターゲットテーブルを作成するターゲットスキーマを選択します。 |
適用モード | 増分ロードジョブ、および初期ロードと増分ロードの組み合わせジョブの場合に、挿入、更新、削除といったソースDMLの変更がターゲットにどのように適用されるかを示します。次のオプションがあります。
処理を完了するために論理的に削除されたデータが必要となる、長期にわたるビジネスプロセスがある場合、誤って削除したデータを復元する必要がある場合、または削除された値を監査目的で追跡する必要がある場合は、論理削除の使用を検討してください。 注: [論理削除]モードを使用する場合は、ソーステーブルのプライマリキーに対して更新を実行しないでください。そうしないと、ターゲットでデータ破損が発生する可能性があります。 デフォルト値は[標準]です。 注: タスクウィザードの[ソース]ページで手法として[クエリベースのCDC]を選択した場合、このフィールドは表示されません。 |
バケット | Google Cloud Storageに読み込むデータオブジェクトへのアクセスを保存、整理、制御する既存のバケットコンテナの名前を指定します。 |
データディレクトリまたはタスクターゲットディレクトリ | データベース取り込みとレプリケーションがタスクに関連付けられたジョブの出力ファイルを格納するサブディレクトリを指定します。このフィールドは、初期ロードジョブの場合は[データディレクトリ]、増分ロードジョブ、または初期ロードと増分ロードの組み合わせジョブの場合は[タスクターゲットディレクトリ]と呼ばれます。 |
プロパティ | 説明 |
---|---|
最終レプリケート時刻を追加 | ターゲットテーブルでレコードが挿入または最後に更新された時点のタイムスタンプを記録するメタデータカラムを追加するには、このチェックボックスをオンにします。初期ロードでは、ロードされたすべてのレコードのタイムスタンプが同じになります。増分ロード、および初期ロードと増分ロードの組み合わせの場合、このカラムには、ターゲットに適用された最後のDML操作のタイムスタンプが記録されます。 デフォルトでは、このチェックボックスは選択されていません。 |
操作タイプの追加 | ジョブがターゲットデータベースにプロパゲートする出力、またはターゲットシステムの監査テーブルに挿入する出力にソースSQL操作タイプを記録するメタデータカラムを追加するには、このチェックボックスを選択します。 このフィールドは、[適用モード]オプションが[監査]または[論理削除]に設定されている場合にのみ使用できます。 監査モードでは、ジョブはこのメタデータカラムに、挿入の場合は「I」、更新の場合は「U」、更新/挿入の場合は「E」、削除の場合は「D」を書き込みます。 論理削除モードでは、ジョブによって、削除の場合は「D」が書き込まれ、挿入、更新、および更新/挿入の場合はNULLが書き込まれます。操作タイプがNULLの場合、他の[操作の追加...]メタデータカラムもNULLです。操作タイプが「D」の場合にのみ、他のメタデータカラムにNULL以外の値が含まれます。 デフォルトでは、このチェックボックスは選択されています。論理削除を使用している場合は、選択を解除できません。 |
操作時間の追加 | ジョブがターゲットテーブルにプロパゲートする出力にソースSQL操作タイムスタンプを記録するメタデータカラムを追加するには、このチェックボックスを選択します。 このフィールドは、[適用モード]が[監査]または[論理削除]に設定されている場合にのみ使用できます。 デフォルトでは、このチェックボックスは選択されていません。 |
操作所有者の追加 | ジョブがターゲットテーブルにプロパゲートする出力にソースSQL操作の所有者を記録するメタデータカラムを追加するには、このチェックボックスを選択します。 このフィールドは、[適用モード]が[監査]または[論理削除]に設定されている場合にのみ使用できます。 デフォルトでは、このチェックボックスは選択されていません。 このプロパティは、MongoDBソースまたはPostgreSQLソースを持つジョブでは使用できません。 注: このプロパティは、SQL Serverソースを持ち、CDCテーブルキャプチャメソッドを使用するおよびジョブではサポートされていません。 |
操作トランザクションIDの追加 | ジョブがSQL操作のターゲットにプロパゲートする出力にソーストランザクションIDを含むメタデータカラムを追加するには、このチェックボックスを選択します。 このフィールドは、[適用モード]が[監査]または[論理削除]に設定されている場合にのみ使用できます。 デフォルトでは、このチェックボックスは選択されていません。 |
操作シーケンスの追加 | ジョブがターゲットテーブルに挿入する変更操作ごとに、生成された昇順のシーケンス番号を記録するメタデータカラムを追加するには、このチェックボックスを選択します。シーケンス番号には、操作の変更ストリーム位置が反映されます。 このフィールドは、[適用モード]が[監査]に設定されている場合にのみ使用できます。 デフォルトでは、このチェックボックスは選択されていません。 |
前のイメージを追加 | ジョブがターゲットテーブルに挿入する出力にUNDOの「操作前のイメージ」データを含む_OLDカラムを追加するには、このチェックボックスを選択します。これにより、各データカラムの以前の値と現在の値を比較できるようになります。削除操作の場合、現在の値はNULLになります。 このフィールドは、[適用モード]が[監査]に設定されている場合にのみ使用できます。 デフォルトでは、このチェックボックスは選択されていません。 |
メタデータカラムのプレフィックス | 追加されたメタデータカラムの名前にプレフィックスを追加し、それらを簡単に識別して、既存のカラムの名前との競合を防ぐことができるようにします。 プレフィックスには特殊文字を含めないようにしてください。特殊文字を含めた場合、タスクのデプロイメントが失敗します。 デフォルト値はINFA_です。 |
大文字と小文字の変換を有効にする | デフォルトでは、ターゲットテーブル名およびカラム名は、対応するソース名と同じ大文字と小文字で生成されます。ただし、ターゲットのクラスタレベルまたはセッションレベルのプロパティがこの大文字と小文字を区別する動作をオーバーライドしている場合を除きます。ターゲット名の大文字と小文字を制御する場合は、このチェックボックスを選択します。次に、[大文字と小文字の変換ストラテジ]オプションを選択します。 |
大文字と小文字の変換ストラテジ | [大文字と小文字の変換を有効にする]を選択した場合は、以下のいずれかのオプションを選択して、生成されたターゲットテーブル(またはオブジェクト)名およびカラム(またはフィールド)名の大文字と小文字の処理方法を指定します。
デフォルト値は、[ソースと同じ]です。 注: 選択したストラテジは、大文字と小文字の制御に関するターゲットのクラスタレベルまたはセッションレベルのプロパティをオーバーライドします。 |
プロパティ | 説明 |
---|---|
出力形式 | 出力ファイルの形式を選択します。次のオプションがあります。
デフォルトの値は[CSV]です。 注: CSV形式の出力ファイルでは、各フィールドの区切り文字として二重引用符("")が使用されます。 |
CSVファイルへのヘッダーの追加 | [CSV]が出力形式として選択されている場合は、このチェックボックスをオンにして、ソース列名を含むヘッダーを出力CSVファイルに追加します。 |
Avro形式 | 出力形式として[AVRO]を選択した場合、ソーステーブルごとに作成されるAvroスキーマの形式を選択します。次のオプションがあります。
デフォルト値は[Avro-Flat]です。 |
Avroシリアル化形式 | 出力形式として[AVRO]が選択されている場合は、Avro出力ファイルのシリアル化形式を選択します。次のオプションがあります。
デフォルト値は[Binary]です。 |
Avroスキーマディレクトリ | 出力形式として[AVRO]が選択されている場合は、データベース取り込みとレプリケーションが各ソーステーブルのAvroスキーマ定義を格納しているローカルディレクトリを指定します。スキーマ定義ファイルには、次の命名パターンがあります。 schemaname_tablename.txt 注: このディレクトリが指定されていない場合、Avroスキーマ定義ファイルは作成されません。 |
ファイル圧縮タイプ | CSVまたはAVRO出力形式の出力ファイルのファイル圧縮タイプを選択します。次のオプションがあります。
デフォルト値は[なし]、これは圧縮が使用されないことを意味します。 |
Avro圧縮タイプ | [AVRO]が出力形式としてが選択されている場合は、Avro圧縮タイプを選択します。次のオプションがあります。
デフォルト値は[なし]、これは圧縮が使用されないことを意味します。 |
Parquet圧縮タイプ | [PARQUET]出力形式が選択されている場合、Parquetでサポートされている圧縮タイプを選択できます。次のオプションがあります。
デフォルト値は[なし]、これは圧縮が使用されないことを意味します。 |
Deflate圧縮レベル | [Deflate]が[Avro圧縮タイプ]フィールドで選択されている場合、圧縮レベルとして0~9を指定します。デフォルトは0です。 |
ディレクトリタグの追加 | 増分ロードタスク、および初期ロードと増分ロードの組み合わせタスクの場合、Hiveパーティショニングの命名規則と互換性を持たせるために適用サイクルディレクトリの名前に「dt=」プレフィックスを追加するには、このチェックボックスをオンにします。このチェックボックスはデフォルトでオフになっています。 |
バケット | Google Cloud Storageに読み込むデータオブジェクトへのアクセスを保存、整理、制御する既存のバケットコンテナの名前を指定します。 |
タスクターゲットディレクトリ | 増分ロードタスク、および初期ロードと増分ロードの組み合わせタスクの場合、出力データファイル、スキーマファイル、およびCDCサイクルのコンテンツと完了ファイルを保持する他のディレクトリのルートディレクトリ。このフィールドを使用して、タスクのカスタムルートディレクトリを指定できます。[親としての接続ディレクトリ]オプションを有効にしている場合は、必要に応じて、接続プロパティで指定された親ディレクトリで使用するタスクターゲットディレクトリを指定できます。 このフィールドは、次のディレクトリフィールドのいずれかのパターンで{TaskTargetDirectory}プレースホルダが指定されている場合は必須です。 |
データディレクトリ | 初期ロードタスクの場合、データベース取り込みとレプリケーションが出力データファイルとオプションでスキーマを保存するディレクトリのディレクトリ構造を定義します。ディレクトリパターンを定義するには、次のタイプのエントリを使用できます。
注: プレースホルダの値の大文字と小文字は区別されません。 例: myDir1/{SchemaName}/{TableName} myDir1/myDir2/{SchemaName}/{YYYY}/{MM}/{TableName}_{Timestamp} myDir1/{toLower(SchemaName)}/{TableName}_{Timestamp} デフォルトのディレクトリパターンは{TableName)_{Timestamp}です。 増分ロードタスク、および初期ロードと増分ロードの組み合わせタスクの場合は、cdc-dataデータファイルを含むサブディレクトリへのカスタムパスを定義します。ディレクトリパターンを定義する場合は、次のタイプのエントリを使用します。
toUpperまたはtoLower関数を含める場合は、前の例に示すように、プレースホルダ名を丸かっこで囲み、関数とプレースホルダの両方を中かっこで囲みます。 デフォルトのディレクトリパターンは{TaskTargetDirectory}/data/{TableName}/dataです。 注: Amazon S3、フラットファイル、Microsoft Azure Data Lake Storage Gen2、およびOracle Cloud Object Storeターゲットでは、[親としての接続ディレクトリ]が選択されている場合、データベース取り込みとレプリケーションは、ターゲット接続プロパティで指定されたディレクトリをデータディレクトリパスのルートとして使用します。Google Cloud Storageターゲットの場合、データベース取り込みとレプリケーションは取り込みタスクのターゲットプロパティで指定したバケット名を使用します。Microsoft Fabric OneLakeターゲットの場合、親ディレクトリは、Microsoft Fabric OneLake接続プロパティの[レイクハウスのパス]フィールドで指定されたパスです。 |
スキーマディレクトリ | デフォルトディレクトリ以外のディレクトリにスキーマファイルを保存する場合は、スキーマファイルを保存するカスタムディレクトリを指定できます。初期ロードの場合、便利になるように、以前に使用した値を使用できる場合はそれがドロップダウンリストに表示されます。このフィールドはオプションです。 初期ロードの場合、デフォルトでは、スキーマはデータディレクトリに保存されます。増分ロード、および初期ロードと増分ロードの組み合わせの場合、スキーマファイルのデフォルトディレクトリは{TaskTargetDirectory}/data/{TableName}/schemaです。 [データディレクトリ]フィールドと同じプレースホルダを使用できます。プレースホルダは必ず中かっこ{ }で囲んでください。 toUpperまたはtoLower関数を含める場合は、{toLower(SchemaName)}のように、プレースホルダ名を丸かっこで囲み、関数とプレースホルダの両方を中かっこで囲みます。 注: スキーマは、CSV形式で出力データファイルにのみ書き込まれます。ParquetおよびAvro形式のデータファイルには、独自の埋め込みスキーマが含まれています。 |
サイクル完了ディレクトリ | 増分ロードタスク、および初期ロードと増分ロードの組み合わせタスクの場合、サイクル完了ファイルを含むディレクトリへのパス。デフォルトは{TaskTargetDirectory}/cycle/completedです。 |
サイクルコンテンツディレクトリ | 増分ロードタスク、および初期ロードと増分ロードの組み合わせタスクの場合、サイクルコンテンツファイルを含むディレクトリへのパス。デフォルトは{TaskTargetDirectory}/cycle/contentsです。 |
データディレクトリにサイクルのパーティション化を使用する | 増分ロードタスク、および初期ロードと増分ロードの組み合わせタスクの場合、各データディレクトリの下に、CDCサイクルごとにタイムスタンプサブディレクトリが作成されます。 このオプションが選択されていない場合、別のディレクトリ構造を定義しない限り、個々のデータファイルがタイムスタンプなしで同じディレクトリに書き込まれます。 |
サマリディレクトリにサイクルのパーティション化を使用する | 増分ロードタスク、および初期ロードと増分ロードの組み合わせタスクの場合は、サマリコンテンツサブディレクトリおよび完了サブディレクトリの下にCDCサイクルごとにタイムスタンプサブディレクトリが作成されます。 |
コンテンツ内の個々のファイルを一覧表示する | 増分ロードタスク、および初期ロードと増分ロードの組み合わせタスクの場合は、コンテンツサブディレクトリの下に個々のデータファイルが一覧表示されます。 [サマリディレクトリにサイクルのパーティション化を使用する]がオフの場合は、このオプションがデフォルトでオンになります。タイムスタンプや日付などのプレースホルダを使用してカスタムサブディレクトリを設定できる場合を除き、コンテンツサブディレクトリ内の個々のファイルがすべて一覧表示されます。 [データディレクトリにサイクルのパーティション化を使用する]が選択されている場合でも、必要に応じてこのチェックボックスを選択して、個々のファイルを一覧表示し、CDCサイクルごとにグループ化することができます。 |
フィールド | 説明 |
---|---|
操作タイプの追加 | ジョブがターゲットにプロパゲートする出力にソースSQL操作タイプを記録するメタデータカラムを追加するには、このチェックボックスを選択します。 増分ロードの場合、ジョブは、挿入を表す「I」、更新を表す「U」、または削除を表す「D」を書き込みます。初期ロードの場合、ジョブは常に、挿入を表す「I」を書き込みます。 デフォルトでは、このチェック ボックスは、増分ロードジョブ、初期および増分ロードジョブの場合はオンになっており、初期ロードジョブの場合はオフになっています。 |
操作時間の追加 | ジョブがターゲットにプロパゲートする出力にソースSQL操作タイムスタンプを記録するメタデータカラムを追加するには、このチェックボックスをオンにします。 初期ロードの場合、ジョブは常に現在の日付と時刻を書き込みます。 デフォルトでは、このチェックボックスは選択されていません。 |
操作所有者の追加 | ジョブがターゲットにプロパゲートする出力にソースSQL操作の所有者を記録するメタデータカラムを追加するには、このチェックボックスを選択します。 初期ロードの場合、ジョブは常に所有者として「INFA」を書き込みます。 デフォルトでは、このチェックボックスは選択されていません。 このプロパティは、MongoDBソースまたはPostgreSQLソースを持つジョブでは使用できません。 注: このプロパティは、SQL Serverソースを持ち、CDCテーブルキャプチャメソッドを使用するおよびジョブではサポートされていません。 |
操作トランザクションIDの追加 | ジョブがSQL操作のターゲットにプロパゲートする出力にソーストランザクションIDを含むメタデータカラムを追加するには、このチェックボックスを選択します。 初期ロードの場合、ジョブは常にIDとして「1」を書き込みます。 デフォルトでは、このチェックボックスは選択されていません。 |
前のイメージを追加 | ジョブがターゲットに書き込む出力にUNDOデータを含めるには、このチェックボックスを選択します。 初期ロードの場合、ジョブはnullを書き込みます。 デフォルトでは、このチェックボックスは選択されていません。 |
プロパティ | 説明 |
---|---|
テーブル名をトピック名として使用 | データベース取り込みとレプリケーションがソースデータを含むメッセージを、ソーステーブルごとに1つずつ個別のトピックに書き込むか、すべてのメッセージを1つのトピックに書き込むかを示します。 テーブル固有のトピックを区切るメッセージを書き込むには、このチェックボックスを選択します。トピック名は、[スキーマ名を含める]、[テーブルプレフィックス]、または[テーブルサフィックス]プロパティに追加しない限り、トピック名はソーステーブル名に一致します。 デフォルトでは、このチェックボックスはオフです。デフォルト設定では、[トピック名]プロパティにすべてのメッセージが書き込まれる単一のトピックの名前を指定する必要があります。 |
スキーマ名を含める | [テーブル名をトピック名として使用]が選択されている場合、このチェックボックスが表示され、デフォルトで選択されています。この設定により、テーブル固有のトピック名にソーススキーマ名が追加されます。トピック名の形式は次のとおりです。スキーマ名_テーブル名。 スキーマ名を含めない場合は、このチェックボックスをオフにします。 |
テーブルプレフィックス | テーブル名をトピック名として使用を選択すると、このプロパティが表示され、オプションでプレフィックスを入力してテーブル固有のトピック名に追加できます。例えば、myprefix_を指定すると、トピック名の形式は「myprefix_テーブル名」になります。プレフィックスの後のアンダースコア(_)を省略すると、プレフィックスがテーブル名の前に追加されます。 |
テーブルサフィックス | テーブル名をトピック名として使用を選択すると、このプロパティが表示され、オプションでサフィックスを入力してテーブル固有のトピック名に追加できます。例えば、_mysuffixを指定すると、トピック名の形式は「テーブル名_mysuffix」になります。サフィックスの前のアンダースコア(_)を省略すると、サフィックスがテーブル名に追加されます。 |
トピック名 | [トピック名としてテーブル名を使用する]を選択しない場合、ソースデータを含むすべてのメッセージが書き込まれる単一のKafkaトピックの名前を入力する必要があります。 |
出力形式 | 出力ファイルの形式を選択します。次のオプションがあります。
デフォルトの値は[CSV]です。 注: CSV形式の出力ファイルでは、各フィールドの区切り文字として二重引用符("")が使用されます。 KafkaターゲットがConfluent Schema Registryを使用して増分ロードジョブのスキーマを格納する場合は、形式として[AVRO]を選択する必要があります。 |
JSON形式 | 出力形式として[JSON]が選択されている場合は、出力の詳細レベルを選択します。次のオプションがあります。
|
Avro形式 | 出力形式として[AVRO]を選択した場合、ソーステーブルごとに作成されるAvroスキーマの形式を選択します。次のオプションがあります。
デフォルト値は[Avro-Flat]です。 |
Avroシリアル化形式 | 出力形式としてAVROが選択されている場合は、Avro出力ファイルのシリアル化形式を選択します。次のオプションがあります。
デフォルト値は[Binary]です。 Confluent Schema Registryを使用してスキーマを格納するConfluent Kafkaターゲットがある場合は、[なし]を選択します。それ以外の場合、Confluent Schema Registryはスキーマを登録しません。Confluent Scheme Registryを使用していない場合、[なし]は選択しないでください。 |
Avroスキーマディレクトリ | 出力形式として[AVRO]が選択されている場合は、データベース取り込みとレプリケーションが各ソーステーブルのAvroスキーマ定義を格納しているローカルディレクトリを指定します。スキーマ定義ファイルには、次の命名パターンがあります。 schemaname_tablename.txt 注: このディレクトリが指定されていない場合、Avroスキーマ定義ファイルは作成されません。 ソーススキーマの変更によってターゲットが変更されることが予想される場合、Avroスキーマ定義ファイルは、タイムスタンプを含む一意の名前で次の形式で再生成されます。 schemaname_tablename_YYYYMMDDhhmmss.txt この一意の命名パターンにより、古いスキーマ定義ファイルが監査目的で保持されます。 |
Avro圧縮タイプ | [AVRO]が出力形式としてが選択されている場合は、Avro圧縮タイプを選択します。次のオプションがあります。
デフォルト値は[なし]、これは圧縮が使用されないことを意味します。 |
Deflate圧縮レベル | [Deflate]が[Avro圧縮タイプ]フィールドで選択されている場合、圧縮レベルとして0~9を指定します。デフォルトは0です。 |
プロパティ | 説明 |
---|---|
操作タイプの追加 | ジョブがターゲットにプロパゲートする出力にソースSQL操作タイプを含むメタデータカラムを追加するには、このチェックボックスを選択します。 ジョブは、挿入を表す「I」、更新を表す「U」、または削除を表す「D」を書き込みます。 デフォルトでは、このチェックボックスは選択されています。 |
操作時間の追加 | ジョブがターゲットにプロパゲートする出力にソースSQL操作タイムスタンプを記録するメタデータカラムを追加するには、このチェックボックスをオンにします。 デフォルトでは、このチェックボックスは選択されていません。 |
操作所有者の追加 | ジョブがターゲットにプロパゲートする出力にソースSQL操作の所有者を記録するメタデータカラムを追加するには、このチェックボックスを選択します。 デフォルトでは、このチェックボックスは選択されていません。 このプロパティは、MongoDBソースまたはPostgreSQLソースを持つジョブでは使用できません。 注: このプロパティは、SQL Serverソースを持ち、CDCテーブルキャプチャメソッドを使用するおよびジョブではサポートされていません。 |
操作トランザクションIDの追加 | ジョブがSQL操作のターゲットにプロパゲートする出力にソーストランザクションIDを含むメタデータカラムを追加するには、このチェックボックスを選択します。 デフォルトでは、このチェックボックスは選択されていません。 |
前のイメージを追加 | ジョブがターゲットに書き込む出力にUNDOデータを含めるには、このチェックボックスを選択します。 デフォルトでは、このチェックボックスは選択されていません。 |
非同期書き込み | Kafkaへのメッセージの同期配信を使用するかどうかを制御します。
デフォルトでは、このチェックボックスは選択されています。 |
プロデューサ設定プロパティ | key=valueペアをカンマで区切って指定して、Apache Kafka、Confluent Kafka、Amazon Managed Streaming for Apache Kafka(MSK)、またはKafka対応Azure Event HubsターゲットのKafkaプロデューサプロパティを入力します。 Confluent Schema Registryを使用してスキーマを格納するConfluentターゲットがある場合は、次のプロパティを指定する必要があります。 schema.registry.url=url, key.serializer=org.apache.kafka.common.serialization.StringSerializer, value.serializer=io.confluent.kafka.serializers.KafkaAvroSerializer Kafkaプロデューサーのプロパティは、このフィールドまたはKafka接続の追加の接続プロパティフィールドのいずれかに設定します。 このフィールドにプロデューサープロパティを入力すると、プロパティはこのタスクにのみ関連付けられたデータベース取り込みジョブに関係します。接続のプロデューサプロパティを入力する場合、[プロデューサ設定プロパティ]フィールドのプロパティを指定して特定のタスクの接続レベルのプロパティをオーバーライドしない限り、プロパティは接続定義を使用するすべてのタスクのジョブに関係します。 Kafkaプロデューサプロパティの詳細については、Apache Kafka、Confluent Kafka、Amazon MSK、またはAzure Event Hubs のドキュメントを参照してください。 |
プロパティ | 説明 |
---|---|
出力形式 | 出力ファイルの形式を選択します。次のオプションがあります。
デフォルトの値は[CSV]です。 注: CSV形式の出力ファイルでは、各フィールドの区切り文字として二重引用符("")が使用されます。 |
CSVファイルへのヘッダーの追加 | [CSV]が出力形式として選択されている場合は、このチェックボックスをオンにして、ソース列名を含むヘッダーを出力CSVファイルに追加します。 |
Avro形式 | 出力形式として[AVRO]を選択した場合、ソーステーブルごとに作成されるAvroスキーマの形式を選択します。次のオプションがあります。
デフォルト値は[Avro-Flat]です。 |
Avroシリアル化形式 | 出力形式として[AVRO]が選択されている場合は、Avro出力ファイルのシリアル化形式を選択します。次のオプションがあります。
デフォルト値は[Binary]です。 |
Avroスキーマディレクトリ | 出力形式として[AVRO]が選択されている場合は、データベース取り込みとレプリケーションが各ソーステーブルのAvroスキーマ定義を格納しているローカルディレクトリを指定します。スキーマ定義ファイルには、次の命名パターンがあります。 schemaname_tablename.txt 注: このディレクトリが指定されていない場合、Avroスキーマ定義ファイルは作成されません。 |
ファイル圧縮タイプ | CSVまたはAVRO出力形式の出力ファイルのファイル圧縮タイプを選択します。次のオプションがあります。
デフォルト値は[なし]、これは圧縮が使用されないことを意味します。 |
Avro圧縮タイプ | [AVRO]が出力形式としてが選択されている場合は、Avro圧縮タイプを選択します。次のオプションがあります。
デフォルト値は[なし]、これは圧縮が使用されないことを意味します。 |
Parquet圧縮タイプ | [PARQUET]出力形式が選択されている場合、Parquetでサポートされている圧縮タイプを選択できます。次のオプションがあります。
デフォルト値は[なし]、これは圧縮が使用されないことを意味します。 |
Deflate圧縮レベル | [Deflate]が[Avro圧縮タイプ]フィールドで選択されている場合、圧縮レベルとして0~9を指定します。デフォルトは0です。 |
ディレクトリタグの追加 | 増分ロードタスク、および初期ロードと増分ロードの組み合わせタスクの場合、Hiveパーティショニングの命名規則と互換性を持たせるために適用サイクルディレクトリの名前に「dt=」プレフィックスを追加するには、このチェックボックスをオンにします。このチェックボックスはデフォルトでオフになっています。 |
タスクターゲットディレクトリ | 増分ロードタスク、および初期ロードと増分ロードの組み合わせタスクの場合、出力データファイル、スキーマファイル、およびCDCサイクルのコンテンツと完了ファイルを保持する他のディレクトリのルートディレクトリ。このフィールドを使用して、タスクのカスタムルートディレクトリを指定できます。[親としての接続ディレクトリ]オプションを有効にしている場合は、必要に応じて、接続プロパティで指定された親ディレクトリで使用するタスクターゲットディレクトリを指定できます。 このフィールドは、次のディレクトリフィールドのいずれかのパターンで{TaskTargetDirectory}プレースホルダが指定されている場合は必須です。 |
親としての接続ディレクトリ | ターゲット接続プロパティで指定されたディレクトリ値を、タスクターゲットプロパティで指定されたカスタムディレクトリパスの親ディレクトリとして使用するようにするには、このチェックボックスをオンにします。初期ロードタスクの場合、親ディレクトリは、データディレクトリとスキーマディレクトリで使用されます。増分ロードタスク、および初期ロードと増分ロードの組み合わせタスクの場合、親ディレクトリはデータディレクトリ、スキーマディレクトリ、サイクル完了ディレクトリ、およびサイクルコンテンツディレクトリで使用されます。 このチェックボックスはデフォルトで選択されています。オフにしたとき、初期ロードの場合は、[データディレクトリ]フィールドで出力ファイルへのフルパスを定義します。増分ロードの場合は、必要に応じて[タスクターゲットディレクトリ]でタスクのルートディレクトリを指定します。 |
データディレクトリ | 初期ロードタスクの場合、データベース取り込みとレプリケーションが出力データファイルとオプションでスキーマを保存するディレクトリのディレクトリ構造を定義します。ディレクトリパターンを定義するには、次のタイプのエントリを使用できます。
注: プレースホルダの値の大文字と小文字は区別されません。 例: myDir1/{SchemaName}/{TableName} myDir1/myDir2/{SchemaName}/{YYYY}/{MM}/{TableName}_{Timestamp} myDir1/{toLower(SchemaName)}/{TableName}_{Timestamp} デフォルトのディレクトリパターンは{TableName)_{Timestamp}です。 増分ロードタスク、および初期ロードと増分ロードの組み合わせタスクの場合は、cdc-dataデータファイルを含むサブディレクトリへのカスタムパスを定義します。ディレクトリパターンを定義する場合は、次のタイプのエントリを使用します。
toUpperまたはtoLower関数を含める場合は、前の例に示すように、プレースホルダ名を丸かっこで囲み、関数とプレースホルダの両方を中かっこで囲みます。 デフォルトのディレクトリパターンは{TaskTargetDirectory}/data/{TableName}/dataです。 注: Amazon S3、フラットファイル、Microsoft Azure Data Lake Storage Gen2、およびOracle Cloud Object Storeターゲットでは、[親としての接続ディレクトリ]が選択されている場合、データベース取り込みとレプリケーションは、ターゲット接続プロパティで指定されたディレクトリをデータディレクトリパスのルートとして使用します。Google Cloud Storageターゲットの場合、データベース取り込みとレプリケーションは取り込みタスクのターゲットプロパティで指定したバケット名を使用します。Microsoft Fabric OneLakeターゲットの場合、親ディレクトリは、Microsoft Fabric OneLake接続プロパティの[レイクハウスのパス]フィールドで指定されたパスです。 |
スキーマディレクトリ | デフォルトディレクトリ以外のディレクトリにスキーマファイルを保存する場合は、スキーマファイルを保存するカスタムディレクトリを指定できます。初期ロードの場合、便利になるように、以前に使用した値を使用できる場合はそれがドロップダウンリストに表示されます。このフィールドはオプションです。 初期ロードの場合、デフォルトでは、スキーマはデータディレクトリに保存されます。増分ロード、および初期ロードと増分ロードの組み合わせの場合、スキーマファイルのデフォルトディレクトリは{TaskTargetDirectory}/data/{TableName}/schemaです。 [データディレクトリ]フィールドと同じプレースホルダを使用できます。プレースホルダは必ず中かっこ{ }で囲んでください。 toUpperまたはtoLower関数を含める場合は、{toLower(SchemaName)}のように、プレースホルダ名を丸かっこで囲み、関数とプレースホルダの両方を中かっこで囲みます。 注: スキーマは、CSV形式で出力データファイルにのみ書き込まれます。ParquetおよびAvro形式のデータファイルには、独自の埋め込みスキーマが含まれています。 |
サイクル完了ディレクトリ | 増分ロードタスク、および初期ロードと増分ロードの組み合わせタスクの場合、サイクル完了ファイルを含むディレクトリへのパス。デフォルトは{TaskTargetDirectory}/cycle/completedです。 |
サイクルコンテンツディレクトリ | 増分ロードタスク、および初期ロードと増分ロードの組み合わせタスクの場合、サイクルコンテンツファイルを含むディレクトリへのパス。デフォルトは{TaskTargetDirectory}/cycle/contentsです。 |
データディレクトリにサイクルのパーティション化を使用する | 増分ロードタスク、および初期ロードと増分ロードの組み合わせタスクの場合、各データディレクトリの下に、CDCサイクルごとにタイムスタンプサブディレクトリが作成されます。 このオプションが選択されていない場合、別のディレクトリ構造を定義しない限り、個々のデータファイルがタイムスタンプなしで同じディレクトリに書き込まれます。 |
サマリディレクトリにサイクルのパーティション化を使用する | 増分ロードタスク、および初期ロードと増分ロードの組み合わせタスクの場合は、サマリコンテンツサブディレクトリおよび完了サブディレクトリの下にCDCサイクルごとにタイムスタンプサブディレクトリが作成されます。 |
コンテンツ内の個々のファイルを一覧表示する | 増分ロードタスク、および初期ロードと増分ロードの組み合わせタスクの場合は、コンテンツサブディレクトリの下に個々のデータファイルが一覧表示されます。 [サマリディレクトリにサイクルのパーティション化を使用する]がオフの場合は、このオプションがデフォルトでオンになります。タイムスタンプや日付などのプレースホルダを使用してカスタムサブディレクトリを設定できる場合を除き、コンテンツサブディレクトリ内の個々のファイルがすべて一覧表示されます。 [データディレクトリにサイクルのパーティション化を使用する]が選択されている場合でも、必要に応じてこのチェックボックスを選択して、個々のファイルを一覧表示し、CDCサイクルごとにグループ化することができます。 |
フィールド | 説明 |
---|---|
操作タイプの追加 | ジョブがターゲットにプロパゲートする出力にソースSQL操作タイプを記録するメタデータカラムを追加するには、このチェックボックスを選択します。 増分ロードの場合、ジョブは、挿入を表す「I」、更新を表す「U」、または削除を表す「D」を書き込みます。初期ロードの場合、ジョブは常に、挿入を表す「I」を書き込みます。 デフォルトでは、このチェック ボックスは、増分ロードジョブ、初期および増分ロードジョブの場合はオンになっており、初期ロードジョブの場合はオフになっています。 |
操作時間の追加 | ジョブがターゲットにプロパゲートする出力にソースSQL操作タイムスタンプを記録するメタデータカラムを追加するには、このチェックボックスをオンにします。 初期ロードの場合、ジョブは常に現在の日付と時刻を書き込みます。 デフォルトでは、このチェックボックスは選択されていません。 |
操作所有者の追加 | ジョブがターゲットにプロパゲートする出力にソースSQL操作の所有者を記録するメタデータカラムを追加するには、このチェックボックスを選択します。 初期ロードの場合、ジョブは常に所有者として「INFA」を書き込みます。 デフォルトでは、このチェックボックスは選択されていません。 このプロパティは、MongoDBソースまたはPostgreSQLソースを持つジョブでは使用できません。 注: このプロパティは、SQL Serverソースを持ち、CDCテーブルキャプチャメソッドを使用するおよびジョブではサポートされていません。 |
操作トランザクションIDの追加 | ジョブがSQL操作のターゲットにプロパゲートする出力にソーストランザクションIDを含むメタデータカラムを追加するには、このチェックボックスを選択します。 初期ロードの場合、ジョブは常にIDとして「1」を書き込みます。 デフォルトでは、このチェックボックスは選択されていません。 |
前のイメージを追加 | ジョブがターゲットに書き込む出力にUNDOデータを含めるには、このチェックボックスを選択します。 初期ロードの場合、ジョブはnullを書き込みます。 デフォルトでは、このチェックボックスは選択されていません。 |
プロパティ | 説明 |
---|---|
ターゲット作成 | 利用可能なただ1つのオプションは、[ターゲットテーブルを作成する]であり、これによりソーステーブルをベースにしてターゲットテーブルを生成します。 注: ターゲットテーブルが作成された後、データベース取り込みとレプリケーションは、後続のジョブ実行でターゲットテーブルをインテリジェントに処理します。データベース取り込みとレプリケーションは、特定の状況に応じて、ターゲットテーブルを切り詰めたり再作成したりする場合があります。 |
スキーマ | データベース取り込みとレプリケーションがターゲットテーブルを作成するターゲットスキーマを選択します。接続プロパティで指定されたスキーマ名がデフォルトで表示されます。このフィールドでは大文字と小文字が区別されるため、接続プロパティのスキーマ名が適切な大文字小文字表記で入力されていることを確認してください。 |
プロパティ | 説明 |
---|---|
最終レプリケート時刻を追加 | ターゲットテーブルでレコードが挿入または最後に更新された時点のタイムスタンプを記録するメタデータカラムを追加するには、このチェックボックスをオンにします。初期ロードでは、ロードされたすべてのレコードのタイムスタンプが同じになります。増分ロード、および初期ロードと増分ロードの組み合わせの場合、このカラムには、ターゲットに適用された最後のDML操作のタイムスタンプが記録されます。 デフォルトでは、このチェックボックスは選択されていません。 |
メタデータカラムのプレフィックス | 追加されたメタデータカラムの名前にプレフィックスを追加し、それらを簡単に識別して、既存のカラムの名前との競合を防ぐことができるようにします。 プレフィックスには特殊文字を含めないようにしてください。特殊文字を含めた場合、タスクのデプロイメントが失敗します。 デフォルト値はINFA_です。 |
プロパティ | 説明 |
---|---|
出力形式 | 出力ファイルの形式を選択します。次のオプションがあります。
デフォルトの値は[CSV]です。 注: CSV形式の出力ファイルでは、各フィールドの区切り文字として二重引用符("")が使用されます。 |
CSVファイルへのヘッダーの追加 | [CSV]が出力形式として選択されている場合は、このチェックボックスをオンにして、ソース列名を含むヘッダーを出力CSVファイルに追加します。 |
Avro形式 | 出力形式として[AVRO]を選択した場合、ソーステーブルごとに作成されるAvroスキーマの形式を選択します。次のオプションがあります。
デフォルト値は[Avro-Flat]です。 |
Avroシリアル化形式 | 出力形式として[AVRO]が選択されている場合は、Avro出力ファイルのシリアル化形式を選択します。次のオプションがあります。
デフォルト値は[Binary]です。 |
Avroスキーマディレクトリ | 出力形式として[AVRO]が選択されている場合は、データベース取り込みとレプリケーションが各ソーステーブルのAvroスキーマ定義を格納しているローカルディレクトリを指定します。スキーマ定義ファイルには、次の命名パターンがあります。 schemaname_tablename.txt 注: このディレクトリが指定されていない場合、Avroスキーマ定義ファイルは作成されません。 |
ファイル圧縮タイプ | CSVまたはAVRO出力形式の出力ファイルのファイル圧縮タイプを選択します。次のオプションがあります。
デフォルト値は[なし]、これは圧縮が使用されないことを意味します。 |
Avro圧縮タイプ | [AVRO]が出力形式としてが選択されている場合は、Avro圧縮タイプを選択します。次のオプションがあります。
デフォルト値は[なし]、これは圧縮が使用されないことを意味します。 |
Parquet圧縮タイプ | [PARQUET]出力形式が選択されている場合、Parquetでサポートされている圧縮タイプを選択できます。次のオプションがあります。
デフォルト値は[なし]、これは圧縮が使用されないことを意味します。 |
Deflate圧縮レベル | [Deflate]が[Avro圧縮タイプ]フィールドで選択されている場合、圧縮レベルとして0~9を指定します。デフォルトは0です。 |
ディレクトリタグの追加 | 増分ロードタスク、および初期ロードと増分ロードの組み合わせタスクの場合、Hiveパーティショニングの命名規則と互換性を持たせるために適用サイクルディレクトリの名前に「dt=」プレフィックスを追加するには、このチェックボックスをオンにします。このチェックボックスはデフォルトでオフになっています。 |
タスクターゲットディレクトリ | 増分ロードタスク、および初期ロードと増分ロードの組み合わせタスクの場合、出力データファイル、スキーマファイル、およびCDCサイクルのコンテンツと完了ファイルを保持する他のディレクトリのルートディレクトリ。このフィールドを使用して、タスクのカスタムルートディレクトリを指定できます。 このフィールドは、次のディレクトリフィールドのいずれかのパターンで{TaskTargetDirectory}プレースホルダが指定されている場合は必須です。 |
データディレクトリ | 初期ロードタスクの場合、データベース取り込みとレプリケーションが出力データファイルとオプションでスキーマを保存するディレクトリのディレクトリ構造を定義します。ディレクトリパターンを定義するには、次のタイプのエントリを使用できます。
注: プレースホルダの値の大文字と小文字は区別されません。 例: myDir1/{SchemaName}/{TableName} myDir1/myDir2/{SchemaName}/{YYYY}/{MM}/{TableName}_{Timestamp} myDir1/{toLower(SchemaName)}/{TableName}_{Timestamp} デフォルトのディレクトリパターンは{TableName)_{Timestamp}です。 増分ロードタスク、および初期ロードと増分ロードの組み合わせタスクの場合は、cdc-dataデータファイルを含むサブディレクトリへのカスタムパスを定義します。ディレクトリパターンを定義する場合は、次のタイプのエントリを使用します。
toUpperまたはtoLower関数を含める場合は、前の例に示すように、プレースホルダ名を丸かっこで囲み、関数とプレースホルダの両方を中かっこで囲みます。 デフォルトのディレクトリパターンは{TaskTargetDirectory}/data/{TableName}/dataです。 注: Amazon S3、フラットファイル、Microsoft Azure Data Lake Storage Gen2、およびOracle Cloud Object Storeターゲットでは、[親としての接続ディレクトリ]が選択されている場合、データベース取り込みとレプリケーションは、ターゲット接続プロパティで指定されたディレクトリをデータディレクトリパスのルートとして使用します。Google Cloud Storageターゲットの場合、データベース取り込みとレプリケーションは取り込みタスクのターゲットプロパティで指定したバケット名を使用します。Microsoft Fabric OneLakeターゲットの場合、親ディレクトリは、Microsoft Fabric OneLake接続プロパティの[レイクハウスのパス]フィールドで指定されたパスです。 |
スキーマディレクトリ | デフォルトディレクトリ以外のディレクトリにスキーマファイルを保存する場合は、スキーマファイルを保存するカスタムディレクトリを指定できます。初期ロードの場合、便利になるように、以前に使用した値を使用できる場合はそれがドロップダウンリストに表示されます。このフィールドはオプションです。 初期ロードの場合、デフォルトでは、スキーマはデータディレクトリに保存されます。増分ロード、および初期ロードと増分ロードの組み合わせの場合、スキーマファイルのデフォルトディレクトリは{TaskTargetDirectory}/data/{TableName}/schemaです。 [データディレクトリ]フィールドと同じプレースホルダを使用できます。プレースホルダは必ず中かっこ{ }で囲んでください。 toUpperまたはtoLower関数を含める場合は、{toLower(SchemaName)}のように、プレースホルダ名を丸かっこで囲み、関数とプレースホルダの両方を中かっこで囲みます。 注: スキーマは、CSV形式で出力データファイルにのみ書き込まれます。ParquetおよびAvro形式のデータファイルには、独自の埋め込みスキーマが含まれています。 |
サイクル完了ディレクトリ | 増分ロードタスク、および初期ロードと増分ロードの組み合わせタスクの場合、サイクル完了ファイルを含むディレクトリへのパス。デフォルトは{TaskTargetDirectory}/cycle/completedです。 |
サイクルコンテンツディレクトリ | 増分ロードタスク、および初期ロードと増分ロードの組み合わせタスクの場合、サイクルコンテンツファイルを含むディレクトリへのパス。デフォルトは{TaskTargetDirectory}/cycle/contentsです。 |
データディレクトリにサイクルのパーティション化を使用する | 増分ロードタスク、および初期ロードと増分ロードの組み合わせタスクの場合、各データディレクトリの下に、CDCサイクルごとにタイムスタンプサブディレクトリが作成されます。 このオプションが選択されていない場合、別のディレクトリ構造を定義しない限り、個々のデータファイルがタイムスタンプなしで同じディレクトリに書き込まれます。 |
サマリディレクトリにサイクルのパーティション化を使用する | 増分ロードタスク、および初期ロードと増分ロードの組み合わせタスクの場合は、サマリコンテンツサブディレクトリおよび完了サブディレクトリの下にCDCサイクルごとにタイムスタンプサブディレクトリが作成されます。 |
コンテンツ内の個々のファイルを一覧表示する | 増分ロードタスク、および初期ロードと増分ロードの組み合わせタスクの場合は、コンテンツサブディレクトリの下に個々のデータファイルが一覧表示されます。 [サマリディレクトリにサイクルのパーティション化を使用する]がオフの場合は、このオプションがデフォルトでオンになります。タイムスタンプや日付などのプレースホルダを使用してカスタムサブディレクトリを設定できる場合を除き、コンテンツサブディレクトリ内の個々のファイルがすべて一覧表示されます。 [データディレクトリにサイクルのパーティション化を使用する]が選択されている場合でも、必要に応じてこのチェックボックスを選択して、個々のファイルを一覧表示し、CDCサイクルごとにグループ化することができます。 |
プロパティ | 説明 |
---|---|
ターゲット作成 | 利用可能なただ1つのオプションは、[ターゲットテーブルを作成する]であり、これによりソーステーブルをベースにしてターゲットテーブルを生成します。 注: ターゲットテーブルが作成された後、データベース取り込みとレプリケーションは、後続のジョブ実行でターゲットテーブルをインテリジェントに処理します。データベース取り込みとレプリケーションは、特定の状況に応じて、ターゲットテーブルを切り詰めたり再作成したりする場合があります。 |
スキーマ | データベース取り込みとレプリケーションがターゲットテーブルを作成するターゲットスキーマを選択します。 |
適用モード | 増分ロードジョブ、および初期ロードと増分ロードの組み合わせジョブの場合に、挿入、更新、削除といったソースDMLの変更がターゲットにどのように適用されるかを示します。次のオプションがあります。
処理を完了するために論理的に削除されたデータが必要となる、長期にわたるビジネスプロセスがある場合、誤って削除したデータを復元する必要がある場合、または削除された値を監査目的で追跡する必要がある場合は、論理削除の使用を検討してください。 注: [論理削除]モードを使用する場合は、ソーステーブルのプライマリキーに対して更新を実行しないでください。そうしないと、ターゲットでデータ破損が発生する可能性があります。 デフォルト値は[標準]です。 注: タスクウィザードの[ソース]ページで手法として[クエリベースのCDC]を選択した場合、このフィールドは表示されません。 |
プロパティ | 説明 |
---|---|
最終レプリケート時刻を追加 | ターゲットテーブルでレコードが挿入または最後に更新された時点のタイムスタンプを記録するメタデータカラムを追加するには、このチェックボックスをオンにします。初期ロードでは、ロードされたすべてのレコードのタイムスタンプが同じになります。増分ロード、および初期ロードと増分ロードの組み合わせの場合、このカラムには、ターゲットに適用された最後のDML操作のタイムスタンプが記録されます。 デフォルトでは、このチェックボックスは選択されていません。 |
操作タイプの追加 | ジョブがターゲットデータベースにプロパゲートする出力、またはターゲットシステムの監査テーブルに挿入する出力にソースSQL操作タイプを記録するメタデータカラムを追加するには、このチェックボックスを選択します。 このフィールドは、[適用モード]オプションが[監査]または[論理削除]に設定されている場合にのみ使用できます。 監査モードでは、ジョブによって、挿入を表す「I」、更新を表す「U」、または削除を表す「D」が書き込まれます。 論理削除モードでは、ジョブは削除の場合は「D」を書き込み、挿入と更新の場合はNULLを書き込みます。操作タイプがNULLの場合、他の[操作の追加...]メタデータカラムもNULLです。操作タイプが「D」の場合にのみ、他のメタデータカラムにNULL以外の値が含まれます。 デフォルトでは、このチェックボックスは選択されています。論理削除を使用している場合は、選択を解除できません。 |
操作時間の追加 | ジョブがターゲットデータベースにプロパゲートする出力、またはターゲットシステムの監査テーブルに挿入する出力にソースSQL操作のタイムスタンプを記録するメタデータカラムを追加するには、このチェックボックスを選択します。 このフィールドは、[適用モード]が[監査]または[論理削除]に設定されている場合にのみ使用できます。 デフォルトでは、このチェックボックスは選択されていません。 |
操作所有者の追加 | ジョブがターゲットデータベースにプロパゲートする出力、またはターゲットシステムの監査テーブルに挿入する出力にソースSQL操作の所有者を記録するメタデータカラムを追加するには、このチェックボックスを選択します。 このフィールドは、[適用モード]が[監査]または[論理削除]に設定されている場合にのみ使用できます。 デフォルトでは、このチェックボックスは選択されていません。 このプロパティは、MongoDBソースまたはPostgreSQLソースを持つジョブでは使用できません。 注: このプロパティは、SQL Serverソースを持ち、CDCテーブルキャプチャメソッドを使用するおよびジョブではサポートされていません。 |
操作トランザクションIDの追加 | ジョブがSQL操作のターゲットにプロパゲートする出力にソーストランザクションIDを含むメタデータカラムを追加するには、このチェックボックスを選択します。 このフィールドは、[適用モード]が[監査]または[論理削除]に設定されている場合にのみ使用できます。 デフォルトでは、このチェックボックスは選択されていません。 |
操作シーケンスの追加 | ジョブがターゲットシステムの監査テーブルに挿入する変更操作ごとに、生成された昇順のシーケンス番号を記録するメタデータカラムを追加するには、このチェックボックスを選択します。シーケンス番号には、操作の変更ストリーム位置が反映されます。 このフィールドは、[適用モード]が[監査]に設定されている場合にのみ使用できます。 デフォルトでは、このチェックボックスは選択されていません。 |
前のイメージを追加 | ジョブがターゲットテーブルに挿入する出力にUNDOの「操作前のイメージ」データを含む_OLDカラムを追加するには、このチェックボックスを選択します。これにより、各データカラムの以前の値と現在の値を比較できるようになります。削除操作の場合、現在の値はNULLになります。 このフィールドは、[適用モード]が[監査]に設定されている場合にのみ使用できます。 デフォルトでは、このチェックボックスは選択されていません。 |
メタデータカラムのプレフィックス | 追加されたメタデータカラムの名前にプレフィックスを追加し、それらを簡単に識別して、既存のカラムの名前との競合を防ぐことができるようにします。 プレフィックスには特殊文字を含めないようにしてください。特殊文字を含めた場合、タスクのデプロイメントが失敗します。 デフォルト値はINFA_です。 |
プロパティ | 説明 |
---|---|
ターゲット作成 | 利用可能なただ1つのオプションは、[ターゲットテーブルを作成する]であり、これによりソーステーブルをベースにしてターゲットテーブルを生成します。 注: ターゲットテーブルが作成された後、データベース取り込みとレプリケーションは、後続のジョブ実行でターゲットテーブルをインテリジェントに処理します。データベース取り込みとレプリケーションは、特定の状況に応じて、ターゲットテーブルを切り詰めたり再作成したりする場合があります。 |
スキーマ | データベース取り込みとレプリケーションがターゲットテーブルを作成するターゲットスキーマを選択します。 |
適用モード | 増分ロードジョブ、および初期ロードと増分ロードの組み合わせジョブの場合に、挿入、更新、削除といったソースDMLの変更がターゲットにどのように適用されるかを示します。次のオプションがあります。
デフォルト値は[標準]です。 注: タスクウィザードの[ソース]ページで手法として[クエリベースのCDC]を選択した場合、このフィールドは表示されません。 |
フィールド | 説明 |
---|---|
操作タイプの追加 | ジョブがターゲットデータベースにプロパゲートする出力、またはターゲットテーブルに挿入する出力にソースSQL操作タイプを記録するメタデータカラムを追加するには、このチェックボックスを選択します。 ジョブは、挿入を表す「I」、更新を表す「U」、または削除を表す「D」を書き込みます。 デフォルトでは、このチェックボックスは選択されています。 |
操作時間の追加 | ジョブがターゲットテーブルにプロパゲートする出力にソースSQL操作タイムスタンプを記録するメタデータカラムを追加するには、このチェックボックスをオンにします。 デフォルトでは、このチェックボックスは選択されていません。 |
操作所有者の追加 | ジョブがターゲットにプロパゲートする出力にソースSQL操作の所有者を記録するメタデータカラムを追加するには、このチェックボックスを選択します。 デフォルトでは、このチェックボックスは選択されていません。 このプロパティは、MongoDBソースまたはPostgreSQLソースを持つジョブでは使用できません。 注: このプロパティは、SQL Serverソースを持ち、CDCテーブルキャプチャメソッドを使用するおよびジョブではサポートされていません。 |
操作トランザクションIDの追加 | ジョブがSQL操作のターゲットにプロパゲートする出力にソーストランザクションIDを含むメタデータカラムを追加するには、このチェックボックスを選択します。 デフォルトでは、このチェックボックスは選択されていません。 |
操作シーケンスの追加 | ジョブがターゲットテーブルに挿入する変更操作ごとに、生成された昇順のシーケンス番号を記録するメタデータカラムを追加するには、このチェックボックスを選択します。シーケンス番号には、操作の変更ストリーム位置が反映されます。 デフォルトでは、このチェックボックスは選択されていません。 |
前のイメージを追加 | ジョブがターゲットテーブルに挿入する出力にUNDOの「操作前のイメージ」データを含む_OLDカラムを追加するには、このチェックボックスを選択します。これにより、各データカラムの以前の値と現在の値を比較できるようになります。削除操作の場合、現在の値はNULLになります。 デフォルトでは、このチェックボックスは選択されていません。 |
メタデータカラムのプレフィックス | 追加されたメタデータカラムの名前にプレフィックスを追加し、それらを簡単に識別して、既存のカラムの名前との競合を防ぐことができるようにします。 デフォルト値はINFA_です。 |
プロパティ | 説明 |
---|---|
出力形式 | 出力ファイルの形式を選択します。次のオプションがあります。
デフォルトの値は[CSV]です。 注: CSV形式の出力ファイルでは、各フィールドの区切り文字として二重引用符("")が使用されます。 |
CSVファイルへのヘッダーの追加 | [CSV]が出力形式として選択されている場合は、このチェックボックスをオンにして、ソース列名を含むヘッダーを出力CSVファイルに追加します。 |
Avro形式 | 出力形式として[AVRO]を選択した場合、ソーステーブルごとに作成されるAvroスキーマの形式を選択します。次のオプションがあります。
デフォルト値は[Avro-Flat]です。 |
Avroシリアル化形式 | 出力形式として[AVRO]が選択されている場合は、Avro出力ファイルのシリアル化形式を選択します。次のオプションがあります。
デフォルト値は[Binary]です。 |
Avroスキーマディレクトリ | 出力形式として[AVRO]が選択されている場合は、データベース取り込みとレプリケーションが各ソーステーブルのAvroスキーマ定義を格納しているローカルディレクトリを指定します。スキーマ定義ファイルには、次の命名パターンがあります。 schemaname_tablename.txt 注: このディレクトリが指定されていない場合、Avroスキーマ定義ファイルは作成されません。 |
ファイル圧縮タイプ | CSVまたはAVRO出力形式の出力ファイルのファイル圧縮タイプを選択します。次のオプションがあります。
デフォルト値は[なし]、これは圧縮が使用されないことを意味します。 |
Avro圧縮タイプ | [AVRO]が出力形式としてが選択されている場合は、Avro圧縮タイプを選択します。次のオプションがあります。
デフォルト値は[なし]、これは圧縮が使用されないことを意味します。 |
Parquet圧縮タイプ | [PARQUET]出力形式が選択されている場合、Parquetでサポートされている圧縮タイプを選択できます。次のオプションがあります。
デフォルト値は[なし]、これは圧縮が使用されないことを意味します。 |
Deflate圧縮レベル | [Deflate]が[Avro圧縮タイプ]フィールドで選択されている場合、圧縮レベルとして0~9を指定します。デフォルトは0です。 |
タスクターゲットディレクトリ | 増分ロードタスク、および初期ロードと増分ロードの組み合わせタスクの場合、出力データファイル、スキーマファイル、およびCDCサイクルのコンテンツと完了ファイルを保持する他のディレクトリのルートディレクトリ。このフィールドを使用して、タスクのカスタムルートディレクトリを指定できます。[親としての接続ディレクトリ]オプションを有効にしている場合は、必要に応じて、接続プロパティで指定された親ディレクトリで使用するタスクターゲットディレクトリを指定できます。 このフィールドは、次のディレクトリフィールドのいずれかのパターンで{TaskTargetDirectory}プレースホルダが指定されている場合は必須です。 |
ディレクトリタグの追加 | 増分ロードタスク、および初期ロードと増分ロードの組み合わせタスクの場合、Hiveパーティショニングの命名規則と互換性を持たせるために適用サイクルディレクトリの名前に「dt=」プレフィックスを追加するには、このチェックボックスをオンにします。このチェックボックスはデフォルトでオフになっています。 |
親としての接続ディレクトリ | ターゲット接続プロパティで指定されたディレクトリ値を、タスクターゲットプロパティで指定されたカスタムディレクトリパスの親ディレクトリとして使用するようにするには、このチェックボックスをオンにします。初期ロードタスクの場合、親ディレクトリは、データディレクトリとスキーマディレクトリで使用されます。増分ロードタスク、および初期ロードと増分ロードの組み合わせタスクの場合、親ディレクトリはデータディレクトリ、スキーマディレクトリ、サイクル完了ディレクトリ、およびサイクルコンテンツディレクトリで使用されます。 このチェックボックスはデフォルトで選択されています。オフにしたとき、初期ロードの場合は、[データディレクトリ]フィールドで出力ファイルへのフルパスを定義します。増分ロードの場合は、必要に応じて[タスクターゲットディレクトリ]でタスクのルートディレクトリを指定します。 |
データディレクトリ | 初期ロードタスクの場合、データベース取り込みとレプリケーションが出力データファイルとオプションでスキーマを保存するディレクトリのディレクトリ構造を定義します。ディレクトリパターンを定義するには、次のタイプのエントリを使用できます。
注: プレースホルダの値の大文字と小文字は区別されません。 例: myDir1/{SchemaName}/{TableName} myDir1/myDir2/{SchemaName}/{YYYY}/{MM}/{TableName}_{Timestamp} myDir1/{toLower(SchemaName)}/{TableName}_{Timestamp} デフォルトのディレクトリパターンは{TableName)_{Timestamp}です。 増分ロードタスク、および初期ロードと増分ロードの組み合わせタスクの場合は、cdc-dataデータファイルを含むサブディレクトリへのカスタムパスを定義します。ディレクトリパターンを定義する場合は、次のタイプのエントリを使用します。
toUpperまたはtoLower関数を含める場合は、前の例に示すように、プレースホルダ名を丸かっこで囲み、関数とプレースホルダの両方を中かっこで囲みます。 デフォルトのディレクトリパターンは{TaskTargetDirectory}/data/{TableName}/dataです。 注: Amazon S3、フラットファイル、Microsoft Azure Data Lake Storage Gen2、およびOracle Cloud Object Storeターゲットでは、[親としての接続ディレクトリ]が選択されている場合、データベース取り込みとレプリケーションは、ターゲット接続プロパティで指定されたディレクトリをデータディレクトリパスのルートとして使用します。Google Cloud Storageターゲットの場合、データベース取り込みとレプリケーションは取り込みタスクのターゲットプロパティで指定したバケット名を使用します。Microsoft Fabric OneLakeターゲットの場合、親ディレクトリは、Microsoft Fabric OneLake接続プロパティの[レイクハウスのパス]フィールドで指定されたパスです。 |
スキーマディレクトリ | デフォルトディレクトリ以外のディレクトリにスキーマファイルを保存する場合は、スキーマファイルを保存するカスタムディレクトリを指定できます。初期ロードの場合、便利になるように、以前に使用した値を使用できる場合はそれがドロップダウンリストに表示されます。このフィールドはオプションです。 初期ロードの場合、デフォルトでは、スキーマはデータディレクトリに保存されます。増分ロード、および初期ロードと増分ロードの組み合わせの場合、スキーマファイルのデフォルトディレクトリは{TaskTargetDirectory}/data/{TableName}/schemaです。 [データディレクトリ]フィールドと同じプレースホルダを使用できます。プレースホルダは必ず中かっこ{ }で囲んでください。 toUpperまたはtoLower関数を含める場合は、{toLower(SchemaName)}のように、プレースホルダ名を丸かっこで囲み、関数とプレースホルダの両方を中かっこで囲みます。 注: スキーマは、CSV形式で出力データファイルにのみ書き込まれます。ParquetおよびAvro形式のデータファイルには、独自の埋め込みスキーマが含まれています。 |
サイクル完了ディレクトリ | 増分ロードタスク、および初期ロードと増分ロードの組み合わせタスクの場合、サイクル完了ファイルを含むディレクトリへのパス。デフォルトは{TaskTargetDirectory}/cycle/completedです。 |
サイクルコンテンツディレクトリ | 増分ロードタスク、および初期ロードと増分ロードの組み合わせタスクの場合、サイクルコンテンツファイルを含むディレクトリへのパス。デフォルトは{TaskTargetDirectory}/cycle/contentsです。 |
データディレクトリにサイクルのパーティション化を使用する | 増分ロードタスク、および初期ロードと増分ロードの組み合わせタスクの場合、各データディレクトリの下に、CDCサイクルごとにタイムスタンプサブディレクトリが作成されます。 このオプションが選択されていない場合、別のディレクトリ構造を定義しない限り、個々のデータファイルがタイムスタンプなしで同じディレクトリに書き込まれます。 |
サマリディレクトリにサイクルのパーティション化を使用する | 増分ロードタスク、および初期ロードと増分ロードの組み合わせタスクの場合は、サマリコンテンツサブディレクトリおよび完了サブディレクトリの下にCDCサイクルごとにタイムスタンプサブディレクトリが作成されます。 |
コンテンツ内の個々のファイルを一覧表示する | 増分ロードタスク、および初期ロードと増分ロードの組み合わせタスクの場合は、コンテンツサブディレクトリの下に個々のデータファイルが一覧表示されます。 [サマリディレクトリにサイクルのパーティション化を使用する]がオフの場合は、このオプションがデフォルトでオンになります。タイムスタンプや日付などのプレースホルダを使用してカスタムサブディレクトリを設定できる場合を除き、コンテンツサブディレクトリ内の個々のファイルがすべて一覧表示されます。 [データディレクトリにサイクルのパーティション化を使用する]が選択されている場合でも、必要に応じてこのチェックボックスを選択して、個々のファイルを一覧表示し、CDCサイクルごとにグループ化することができます。 |
フィールド | 説明 |
---|---|
操作タイプの追加 | ジョブがターゲットにプロパゲートする出力にソースSQL操作タイプを記録するメタデータカラムを追加するには、このチェックボックスを選択します。 増分ロードの場合、ジョブは、挿入を表す「I」、更新を表す「U」、または削除を表す「D」を書き込みます。初期ロードの場合、ジョブは常に、挿入を表す「I」を書き込みます。 デフォルトでは、このチェック ボックスは、増分ロードジョブ、初期および増分ロードジョブの場合はオンになっており、初期ロードジョブの場合はオフになっています。 |
操作時間の追加 | ジョブがターゲットにプロパゲートする出力にソースSQL操作タイムスタンプを記録するメタデータカラムを追加するには、このチェックボックスをオンにします。 初期ロードの場合、ジョブは常に現在の日付と時刻を書き込みます。 デフォルトでは、このチェックボックスは選択されていません。 |
操作所有者の追加 | ジョブがターゲットにプロパゲートする出力にソースSQL操作の所有者を記録するメタデータカラムを追加するには、このチェックボックスを選択します。 初期ロードの場合、ジョブは常に所有者として「INFA」を書き込みます。 デフォルトでは、このチェックボックスは選択されていません。 このプロパティは、MongoDBソースまたはPostgreSQLソースを持つジョブでは使用できません。 注: このプロパティは、SQL Serverソースを持ち、CDCテーブルキャプチャメソッドを使用するおよびジョブではサポートされていません。 |
操作トランザクションIDの追加 | ジョブがSQL操作のターゲットにプロパゲートする出力にソーストランザクションIDを含むメタデータカラムを追加するには、このチェックボックスを選択します。 初期ロードの場合、ジョブは常にIDとして「1」を書き込みます。 デフォルトでは、このチェックボックスは選択されていません。 |
前のイメージを追加 | ジョブがターゲットに書き込む出力にUNDOデータを含めるには、このチェックボックスを選択します。 初期ロードの場合、ジョブはnullを書き込みます。 デフォルトでは、このチェックボックスは選択されていません。 |
プロパティ | 説明 |
---|---|
ターゲット作成 | 利用可能なただ1つのオプションは、[ターゲットテーブルを作成する]であり、これによりソーステーブルをベースにしてターゲットテーブルを生成します。 注: ターゲットテーブルが作成された後、データベース取り込みとレプリケーションは、後続のジョブ実行でターゲットテーブルをインテリジェントに処理します。データベース取り込みとレプリケーションは、特定の状況に応じて、ターゲットテーブルを切り詰めたり再作成したりする場合があります。 |
スキーマ | データベース取り込みとレプリケーションがターゲットテーブルを作成するターゲットスキーマを選択します。 |
適用モード | 増分ロードジョブ、および初期ロードと増分ロードの組み合わせジョブの場合に、挿入、更新、削除といったソースDMLの変更がターゲットにどのように適用されるかを示します。次のオプションがあります。
処理を完了するために論理的に削除されたデータが必要となる、長期にわたるビジネスプロセスがある場合、誤って削除したデータを復元する必要がある場合、または削除された値を監査目的で追跡する必要がある場合は、論理削除の使用を検討してください。 注: [論理削除]モードを使用する場合は、ソーステーブルのプライマリキーに対して更新を実行しないでください。そうしないと、ターゲットでデータ破損が発生する可能性があります。 デフォルト値は[標準]です。 注: [監査]および[論理削除]の適用モードは、Oracleソースを持つジョブでサポートされます。 注: タスクウィザードの[ソース]ページで手法として[クエリベースのCDC]を選択した場合、このフィールドは表示されません。 |
プロパティ | 説明 |
---|---|
操作タイプの追加 | ジョブがターゲットデータベースにプロパゲートする出力、またはターゲットテーブルに挿入する出力にソースSQL操作タイプを記録するメタデータカラムを追加するには、このチェックボックスを選択します。 このフィールドは、[適用モード]オプションが[監査]または[論理削除]に設定されている場合にのみ使用できます。 監査モードでは、ジョブによって、挿入を表す「I」、更新を表す「U」、または削除を表す「D」が書き込まれます。 論理削除モードでは、ジョブは削除の場合は「D」を書き込み、挿入と更新の場合はNULLを書き込みます。操作タイプがNULLの場合、他の[操作の追加...]メタデータカラムもNULLです。操作タイプが「D」の場合にのみ、他のメタデータカラムにNULL以外の値が含まれます。 デフォルトでは、このチェックボックスは選択されています。論理削除を使用している場合は、選択を解除できません。 |
操作時間の追加 | ジョブがターゲットデータベースにプロパゲートする出力、またはターゲットシステムの監査テーブルに挿入する出力にソースSQL操作のタイムスタンプを記録するメタデータカラムを追加するには、このチェックボックスを選択します。 このフィールドは、[適用モード]が[監査]または[論理削除]に設定されている場合にのみ使用できます。 デフォルトでは、このチェックボックスは選択されていません。 |
操作所有者の追加 | ジョブがターゲットデータベースにプロパゲートする出力、またはターゲットシステムの監査テーブルに挿入する出力にソースSQL操作の所有者を記録するメタデータカラムを追加するには、このチェックボックスを選択します。 このフィールドは、[適用モード]が[監査]または[論理削除]に設定されている場合にのみ使用できます。 デフォルトでは、このチェックボックスは選択されていません。 |
操作トランザクションIDの追加 | ジョブがSQL操作のターゲットにプロパゲートする出力にソーストランザクションIDを含むメタデータカラムを追加するには、このチェックボックスを選択します。 このフィールドは、[適用モード]が[監査]または[論理削除]に設定されている場合にのみ使用できます。 デフォルトでは、このチェックボックスは選択されていません。 |
操作シーケンスの追加 | ジョブがターゲットシステムの監査テーブルに挿入する変更操作ごとに、生成された昇順のシーケンス番号を記録するメタデータカラムを追加するには、このチェックボックスを選択します。シーケンス番号には、操作の変更ストリーム位置が反映されます。 このフィールドは、[適用モード]が[監査]に設定されている場合にのみ使用できます。 デフォルトでは、このチェックボックスは選択されていません。 |
前のイメージを追加 | ジョブがターゲットテーブルに挿入する出力にUNDOの「操作前のイメージ」データを含む_OLDカラムを追加するには、このチェックボックスを選択します。これにより、各データカラムの以前の値と現在の値を比較できるようになります。削除操作の場合、現在の値はNULLになります。 このフィールドは、[適用モード]が[監査]に設定されている場合にのみ使用できます。 デフォルトでは、このチェックボックスは選択されていません。 |
メタデータカラムのプレフィックス | 追加されたメタデータカラムの名前にプレフィックスを追加し、それらを簡単に識別して、既存のカラムの名前との競合を防ぐことができるようにします。 デフォルト値はINFA_です。 |
プロパティ | 説明 |
---|---|
ターゲット作成 | 利用可能なただ1つのオプションは、[ターゲットテーブルを作成する]であり、これによりソーステーブルをベースにしてターゲットテーブルを生成します。 注: ターゲットテーブルが作成された後、データベース取り込みとレプリケーションは、後続のジョブ実行でターゲットテーブルをインテリジェントに処理します。データベース取り込みとレプリケーションは、特定の状況に応じて、ターゲットテーブルを切り詰めたり再作成したりする場合があります。 |
スキーマ | データベース取り込みとレプリケーションがターゲットテーブルを作成するターゲットスキーマを選択します。 |
ステージ | データがターゲットテーブルに書き込まれる前にソースから読み取られたデータを保持する内部ステージング領域の名前。この名前にスペースを含めることはできません。指定されたステージング領域が存在しない場合、自動的に作成されます。 注: [詳細ターゲットプロパティ]で[Superpipe]オプションを選択した場合、このフィールドは使用できません。 |
適用モード | 増分ロードジョブ、および初期ロードと増分ロードの組み合わせジョブの場合に、挿入、更新、削除といったソースDMLの変更がターゲットにどのように適用されるかを示します。次のオプションがあります。
処理を完了するために論理的に削除されたデータが必要となる、長期にわたるビジネスプロセスがある場合、誤って削除したデータを復元する必要がある場合、または削除された値を監査目的で追跡する必要がある場合は、論理削除の使用を検討してください。 注: [論理削除]モードを使用する場合は、ソーステーブルのプライマリキーに対して更新を実行しないでください。そうしないと、ターゲットでデータ破損が発生する可能性があります。 デフォルト値は[標準]です。 注: タスクウィザードの[ソース]ページで手法として[クエリベースのCDC]を選択した場合、このフィールドは表示されません。 |
プロパティ | 説明 |
---|---|
最終レプリケート時刻を追加 | ターゲットテーブルでレコードが挿入または最後に更新された時点のタイムスタンプを記録するメタデータカラムを追加するには、このチェックボックスをオンにします。初期ロードの場合、ロードされたすべてのレコードのタイムスタンプは同じですが、Superpipeオプションを使用するSnowflakeターゲットに限り、分と秒がわずかに異なる可能性があります。増分ロード、および初期ロードと増分ロードの組み合わせの場合、このカラムには、ターゲットに適用された最後のDML操作のタイムスタンプが記録されます。 デフォルトでは、このチェックボックスは選択されていません。 |
操作タイプの追加 | ジョブがターゲットデータベースにプロパゲートする出力、またはターゲットシステムの監査テーブルに挿入する出力にソースSQL操作タイプを記録するメタデータカラムを追加するには、このチェックボックスを選択します。 このフィールドは、[適用モード]オプションが[監査]または[論理削除]に設定されている場合にのみ使用できます。 監査モードでは、ジョブはこのメタデータカラムに、挿入の場合は「I」、更新の場合は「U」、更新/挿入の場合は「E」、削除の場合は「D」を書き込みます。 論理削除モードでは、ジョブによって、削除の場合は「D」が書き込まれ、挿入、更新、および更新/挿入の場合はNULLが書き込まれます。操作タイプがNULLの場合、他の[操作の追加...]メタデータカラムもNULLです。操作タイプが「D」の場合にのみ、他のメタデータカラムにNULL以外の値が含まれます。 デフォルトでは、このチェックボックスは選択されています。論理削除を使用している場合は、選択を解除できません。 |
操作時間の追加 | ジョブがターゲットデータベースにプロパゲートする出力、またはターゲットシステムの監査テーブルに挿入する出力にソースSQL操作のタイムスタンプを記録するメタデータカラムを追加するには、このチェックボックスを選択します。 このフィールドは、[適用モード]が[監査]または[論理削除]に設定されている場合にのみ使用できます。 デフォルトでは、このチェックボックスは選択されていません。 |
操作所有者の追加 | ジョブがターゲットデータベースにプロパゲートする出力、またはターゲットシステムの監査テーブルに挿入する出力にソースSQL操作の所有者を記録するメタデータカラムを追加するには、このチェックボックスを選択します。 このフィールドは、[適用モード]が[監査]または[論理削除]に設定されている場合にのみ使用できます。 デフォルトでは、このチェックボックスは選択されていません。 このプロパティは、MongoDBソースまたはPostgreSQLソースを持つジョブでは使用できません。 注: このプロパティは、SQL Serverソースを持ち、CDCテーブルキャプチャメソッドを使用するおよびジョブではサポートされていません。 |
操作トランザクションIDの追加 | ジョブがSQL操作のターゲットにプロパゲートする出力にソーストランザクションIDを含むメタデータカラムを追加するには、このチェックボックスを選択します。 このフィールドは、[適用モード]が[監査]または[論理削除]に設定されている場合にのみ使用できます。 デフォルトでは、このチェックボックスは選択されていません。 |
操作シーケンスの追加 | ジョブがターゲットシステムの監査テーブルに挿入する変更操作ごとに、生成された昇順のシーケンス番号を記録するメタデータカラムを追加するには、このチェックボックスを選択します。シーケンス番号には、操作の変更ストリーム位置が反映されます。 このフィールドは、[適用モード]が[監査]に設定されている場合にのみ使用できます。 デフォルトでは、このチェックボックスは選択されていません。 |
前のイメージを追加 | ジョブがターゲットテーブルに挿入する出力にUNDOの「操作前のイメージ」データを含む_OLDカラムを追加するには、このチェックボックスを選択します。これにより、各データカラムの以前の値と現在の値を比較できるようになります。削除操作の場合、現在の値はNULLになります。 このフィールドは、[適用モード]が[監査]に設定されている場合にのみ使用できます。 デフォルトでは、このチェックボックスは選択されていません。 |
メタデータカラムのプレフィックス | 追加されたメタデータカラムの名前にプレフィックスを追加し、それらを簡単に識別して、既存のカラムの名前との競合を防ぐことができるようにします。 デフォルト値はINFA_です。 |
Superpipe | 最初にデータをステージファイルに書き込むのではなく、Snowpipe Streaming APIを使用して、短い待ち時間でSnowflake Data Cloudターゲットテーブルにデータ行を直接すばやくストリーミングするには、このチェックボックスを選択します。このオプションは、すべてのロードタイプで有効にすることができます。 ターゲット接続を設定するときに、KeyPair認証を選択します。 デフォルトでは、このチェックボックスは選択されています。中間ステージファイルにデータを書き込む場合は、選択解除します。 |
マージ頻度 | [Superpipe]が選択されている場合、必要に応じて、変更データ行がマージされてSnowflakeターゲットテーブルに適用される頻度を秒単位で設定できます。このフィールドは、増分ロードタスク、および初期ロードと増分ロードの組み合わせタスクに適用されます。有効な値は60から604800です。デフォルトは3600秒です。 |
大文字と小文字の変換を有効にする | デフォルトでは、ターゲットテーブル名およびカラム名は、対応するソース名と同じ大文字と小文字で生成されます。ただし、ターゲットのクラスタレベルまたはセッションレベルのプロパティがこの大文字と小文字を区別する動作をオーバーライドしている場合を除きます。ターゲット名の大文字と小文字を制御する場合は、このチェックボックスを選択します。次に、[大文字と小文字の変換ストラテジ]オプションを選択します。 注: このチェックボックスは、[Superpipe]オプションを選択した場合は使用できません。SnowflakeのSuperpipeオプションを使用している場合は、大文字と小文字の変換を有効にできません。 |
大文字と小文字の変換ストラテジ | [大文字と小文字の変換を有効にする]を選択した場合は、以下のいずれかのオプションを選択して、生成されたターゲットテーブル(またはオブジェクト)名およびカラム(またはフィールド)名の大文字と小文字の処理方法を指定します。
デフォルト値は、[ソースと同じ]です。 注: 選択したストラテジは、大文字と小文字の制御に関するターゲットのクラスタレベルまたはセッションレベルのプロパティをオーバーライドします。 |
オプション | 説明 |
---|---|
サイクル間隔の適用 | データベース取り込みとレプリケーションジョブが適用サイクルを終了するまでに経過する必要のある時間を指定します。日、時間、分、秒を指定するか、これらの時間フィールドのサブセットに値を指定して、他のフィールドを空白のままにすることができます。 デフォルト値は15分です。 |
サイクル変更制限の適用 | ジョブが適用サイクルを終了する前に処理する必要がある、データベース取り込みとレプリケーションジョブのすべてのテーブル内のレコードの合計数を指定します。このレコード制限に達すると、データベース取り込みとレプリケーションジョブは適用サイクルを終了し、変更データをターゲットに書き込みます。 デフォルト値は10000レコードです。 注: 起動中に、古いデータのバックログの処理に追いつく必要がある場合、ジョブは適用サイクル間隔よりも頻繁にこの制限に達する可能性があります。 |
低アクティビティのフラッシュ間隔 | データベース取り込みとレプリケーションジョブが適用サイクルを終了する前に、ソースで変更アクティビティがない期間中に経過する必要がある時間を時間、分、またはその両方で指定します。この時間制限に達すると、データベース取り込みとレプリケーションジョブは適用サイクルを終了し、変更データをターゲットに書き込みます。 このオプションの値を指定しない場合、データベース取り込みとレプリケーションジョブは、[サイクル変更制限の適用]または[サイクル間隔の適用]のいずれかの制限に達した後にのみ適用サイクルを終了します。 デフォルト値は指定されていません。 |
ソース | ロードタイプ | ターゲット |
---|---|---|
Db2 for i | 差分 初期と増分の組み合わせ | Amazon Redshift、Amazon S3、Databricks、Google BigQuery、Google Cloud Storage、Kafka(増分ロードのみ)、Microsoft Azure Data Lake Storage、Microsoft Azure Synapse Analytics、Microsoft Fabric OneLake、Oracle、Oracle Cloud Object Storage、PostgreSQL、Snowflake、およびSQL Server |
DB2 for LUW | 差分 初期ロードと増分ロードの組み合わせ | Snowflake |
Db2 for z/OS(Db2 11を除く) | 差分 初期と増分の組み合わせ | Amazon Redshift、Amazon S3、Databricks、Google BigQuery、Google Cloud Storage、Kafka(増分ロードのみ)、Microsoft Azure Data Lake Storage、Microsoft Azure Synapse Analytics、Microsoft Fabric OneLake、Oracle、Oracle Cloud Object Storage、Snowflake、およびSQL Server |
Microsoft SQL Server | 差分 初期と増分の組み合わせ | Amazon Redshift、Amazon S3、Databricks、Google BigQuery、Google Cloud Storage、Kafka(増分ロードのみ)、Microsoft Azure Data Lake Storage、Microsoft Azure Synapse Analytics、Microsoft Fabric OneLake、Oracle、Oracle Cloud Object Storage、PostgreSQL、Snowflake、およびSQL Server |
Oracle | 差分 初期と増分の組み合わせ | Amazon Redshift、Amazon S3、Databricks、Google BigQuery、Google Cloud Storage、Kafka(増分ロードのみ)、Microsoft Azure Data Lake Storage、Microsoft Azure Synapse Analytics、Microsoft Fabric OneLake、Oracle、Oracle Cloud Object Storage、PostgreSQL、Snowflake、およびSQL Server |
PostgreSQL | 差分 初期と増分の組み合わせ | 増分ロード: Amazon Redshift、Amazon S3、Databricks、Google BigQuery、Google Cloud Storage、Kafka(増分ロードのみ)、Microsoft Azure Data Lake Storage、Microsoft Azure Synapse Analytics、Microsoft Fabric OneLake、Oracle、Oracle Cloud Object Storage、PostgreSQL、およびSnowflake 初期ロードと増分ロードの組み合わせ: Oracle、PostgreSQL、およびSnowflake |
オプション | 説明 |
---|---|
無視 | ソースデータベースで発生するDDLの変更をターゲットにレプリケートしません。Amazon Redshift、Kafka、Microsoft Azure Synapse Analytics、PostgreSQL、Snowflake、およびSQL Serverターゲットの場合、このオプションは、[カラムの削除]および[カラム名の変更]操作タイプのデフォルトオプションです。 CSV出力形式を使用するAmazon S3、Google Cloud Storage、Microsoft Azure Data Lake Storage、およびOracle Cloud Object Storageターゲットの場合、[無視]オプションは無効です。AVRO出力形式の場合、このオプションは有効になっています。 |
レプリケート | DDL操作をターゲットにレプリケートします。Amazon S3、Google Cloud Storage、Microsoft Azure Data Lake Storage、Microsoft Fabric OneLake、およびOracle Cloud Object Storageターゲットの場合、このオプションはすべての操作タイプのデフォルトオプションです。他のターゲットの場合、このオプションは、[カラムの追加]および[カラムの変更]操作タイプのデフォルトオプションです。 |
ジョブの停止 | データベース取り込みジョブ全体を停止します。 |
テーブルの停止 | DDL変更が発生したソーステーブルの処理を停止します。1つ以上のテーブルが[テーブルの停止]スキーマドリフトオプションによってレプリケーションから除外された場合、ジョブの状態が[実行中(警告あり)]に変わります。 重要: データベース取り込みとレプリケーションジョブは、ジョブが変更の処理を停止した後にソーステーブルで発生したデータ変更を取得できません。その結果、ターゲットでデータ損失が発生する可能性があります。データの損失を回避するには、ジョブを停止し、ジョブが処理を停止したソースオブジェクトとターゲットオブジェクトを再同期する必要があります。ジョブが停止した後に、[オプションを指定して再開] > [再同期]オプションを使用して、[テーブルの停止]操作によってエラー状態になっているテーブルを再同期することができます。詳細については、データベース取り込みとレプリケーションジョブの再開時のスキーマドリフトオプションのオーバーライドを参照してください。 |
オプション | 説明 |
---|---|
チェックポイントのすべての行 | データベース取り込みとレプリケーションジョブが、Kafkaターゲットに送信されるすべてのメッセージに対してチェックポイント処理を実行するかどうかを示します。 注: このチェックボックスが選択されている場合、[チェックポイントすべてのコミット]、[チェックポイントの行数]、および[チェックポイントの頻度(秒)]オプションは無視されます。 |
チェックポイントのすべてのコミット | データベース取り込みとレプリケーションジョブがソースで発生するすべてのコミットに対してチェックポイント処理を実行するかどうかを示します。 |
チェックポイントの行数 | チェックポイントを追加する前に、データベース取り込みとレプリケーションジョブがターゲットに送信するメッセージの最大数を指定します。このオプションを0に設定すると、データベース取り込みとレプリケーションジョブはメッセージの数に基づいてチェックポイント処理を実行しません。このオプションを1に設定すると、データベース取り込みとレプリケーションジョブは各メッセージにチェックポイントを追加します。 |
チェックポイントの頻度(秒) | データベース取り込みとレプリケーションジョブがチェックポイントを追加するまでに経過する必要がある最大秒数を指定します。このオプションを0に設定すると、データベース取り込みとレプリケーションジョブは経過時間に基づいてチェックポイント処理を実行しません。 |