プロパティ | 説明 |
|---|---|
接続 | ターゲット接続の名前。 既存の接続の選択、新しい接続の作成、またはターゲット接続プロパティのパラメータ値の定義ができます。 実行時にターゲット接続プロパティを上書きする場合は、[実行時にパラメータのオーバーライドを許可する]オプションを選択します。 |
ターゲットタイプ | オープンテーブルターゲットオブジェクトのタイプ。 ターゲットタイプには、次のいずれかを選択できます。
|
パラメータ | タスクを編集せずに更新する値を定義するパラメータファイル。 ターゲットオブジェクトに既存のパラメータを選択するか、[新しいパラメータ]をクリックしてターゲットオブジェクトに新しいパラメータを定義します。 ターゲットタイプとして[パラメータ]を選択する場合にのみ[パラメータ]プロパティが表示されます。 実行時にターゲットオブジェクトを上書きする場合は、[実行時にパラメータのオーバーライドを許可する]オプションを選択します。 タスクが実行されると、Secure Agentは詳細セッションプロパティで指定されたファイルのこのパラメータを使用します。 |
オブジェクト | ターゲットオブジェクトの名前。 リストから既存のオブジェクトを選択するか、実行時にターゲットオブジェクトを作成できます。実行時にターゲットオブジェクトを作成する方法については、実行時のターゲットテーブルの作成(AWS Glueカタログに対して)のトピックを参照してください。 注: 接続でHiveメタストアカタログを設定した場合、実行時にターゲットオブジェクトを作成することはできません。 |
操作 | ターゲット操作のタイプ。 次のいずれかの操作を選択します。
注: オープンテーブルターゲットでデータドリブン操作を設定することはできません。 |
更新カラム | オープンテーブルターゲットの更新、更新/挿入、または削除操作の条件フィールドとして、一意のキーカラムを選択します。 |
プロパティ | 説明 |
|---|---|
ターゲットの切り詰め | 有効にすると、Secure Agentはデータをロードする前にターゲットテーブルを切り詰めます。 デフォルトでは、このチェックボックスは選択されていません。 |
Iceberg詳細プロパティ | Icebergテーブルに設定するプロパティ。 プロパティは次の形式で入力します。 <パラメータ名>=<パラメータ値> 複数のプロパティを入力する場合は、それぞれのプロパティを新しい行に入力します。 Amazon S3でAWS Glueカタログを使用しており、ソースとターゲットが異なるリージョンにある場合は、更新、更新/挿入、または削除ターゲット操作にAmazon S3バケットリージョンのプロパティを次の形式で指定する必要があります。 BucketRegion=<Amazon-S3-target-bucket-region-name> マッピングにおいて、AWS GlueカタログとAmazon S3を併用し、それらが異なるリージョンにある場合は、Amazon S3バケットリージョンのプロパティを次の形式で指定する必要があります。 BucketRegion=<bucket-region-name> マッピングにおいて、AWS GlueカタログとAmazon S3を併用し、それらが異なるリージョンにある場合は、Amazon S3バケットリージョンのプロパティを次の形式で指定する必要があります。 s3.access-points.<bucket-name>=<S3-bucket-ARN> Amazon S3でHiveメタストアを使用しており、ソースとターゲットが異なるリージョンにある場合は、Amazon S3バケットリージョンのプロパティを次の形式で指定する必要があります。 BucketRegion=<Amazon-S3-target-bucket-region-name> Amazon S3でRESTカタログを使用しており、ソースとターゲットが異なるリージョンにある場合は、Amazon S3バケットリージョンのプロパティを次の形式で指定する必要があります。 restcatalog.iceberg.s3.client.region = <Amazon-S3-source-bucket-region-name> |
Delta Sparkのプロパティ* | Delta Lakeテーブルに対して設定するプロパティ。 プロパティは次の形式で入力します。 <パラメータ名>=<パラメータ値> 複数のプロパティを入力する場合は、それぞれのプロパティを新しい行に入力します。 Amazon S3でAWS Glueカタログを使用しており、それらが異なるリージョンにある場合は、Amazon S3バケットリージョンのプロパティを次の形式で指定する必要があります。 BucketRegion=<bucket-region-name> |
UpdateMode | 指定したモードに基づいてターゲットにデータをロードします。 このプロパティは、[更新]または[更新/挿入]操作を選択した場合に適用されます。 次のいずれかのモードを選択します。
|
Pre-SQL | Apache Icebergオープンテーブル形式にデータを書き込む前に実行するPre-SQLクエリ。 セミコロンで区切った複数のクエリを入力できます。
テーブル名の前に<OpenTableCatalog>文字列とデータベース名を入力する必要があります。 例: <OpenTableCatalog>.databasename.tablename クエリのデータベース名とテーブル名の識別子は小文字にする必要があります。 Pre-SQLクエリが失敗すると、マッピングも失敗します。 |
Post-SQL | Apache Icebergオープンテーブル形式にデータを書き込んだ後に実行するPost-SQLクエリ。 セミコロンで区切った複数のクエリを入力できます。
テーブル名の前に<OpenTableCatalog>文字列とデータベース名を入力する必要があります。 例: <OpenTableCatalog>.databasename.tablename クエリのデータベース名とテーブル名の識別子は小文字にする必要があります。 Post-SQLクエリが失敗すると、マッピングも失敗します。マッピングが失敗した場合、Post-SQLクエリは実行されません。 |
スナップショットの保持 | テーブルの履歴を管理し、スナップショットの自動失効や不要になったデータファイルの削除を行うことで、ストレージを最適化するための設定。 スナップショットの保持を有効にするには、対象テーブルのenable snapshot expiryプロパティをtrueに設定します。 以下の定義済みプロパティをカスタマイズできます。
|
孤立ファイルのクリーンアップ* | テーブルのメタデータにより参照されていないファイルを削除するための設定。 孤立ファイルのクリーンアップを有効にするには、対象テーブルのenable orphan file cleanupプロパティをtrueに設定します。 以下の定義済みプロパティをカスタマイズできます。
|
マニフェストファイルの再書き込み | 小さなマニフェストファイルをまとめて少数の大きなファイルに統合し、データファイルをコンパクト化するための設定。 マニフェストファイルの再書き込みを有効にするには、対象テーブルのenable rewrite manifestプロパティをtrueに設定します。 |
*詳細モードのマッピングにのみ適用されます。 | |