オープンテーブルコネクタ > オープンテーブルコネクタを使用したマッピングとマッピングタスク > マッピングのオープンテーブルソース
  

マッピングのオープンテーブルソース

オープンテーブルソースを使用するようにマッピングを設定するときに、ソースのプロパティを設定できます。
オープンテーブルソースの名前と説明を指定します。オープンテーブルオブジェクトのソースプロパティと詳細ソースプロパティを設定します。
次の表に、ソーストランスフォーメーションで設定できるオープンテーブルソースのプロパティを示します。
プロパティ
説明
接続
ソース接続の名前。
既存の接続の選択、新しい接続の作成、またはソース接続プロパティのパラメータ値の定義ができます。
実行時にソース接続プロパティを上書きする場合は、［実行時にパラメータのオーバーライドを許可する］オプションを選択します。
ソースタイプ
オープンテーブルソースオブジェクトのタイプ。
ソースタイプには、次のいずれかを選択できます。
  • - 単一オブジェクト。単一のオープンテーブルオブジェクトを指定する場合に選択します。
  • - パラメータ。パラメータ名を指定する場合に選択します。このソーストランスフォーメーションを使用するマッピングに関連付けられたマッピングタスクでソースオブジェクトを設定できます。
パラメータ
タスクを編集せずに更新する値を定義するパラメータファイル。
ソースオブジェクトに既存のパラメータを選択するか、［新しいパラメータ］をクリックしてソースオブジェクトに新しいパラメータを定義します。パラメータをソースタイプとして選択する場合にのみ、［パラメータ］プロパティが表示されます。
実行時にパラメータを上書きする場合は、［実行時にパラメータのオーバーライドを許可する］オプションを選択します。
タスクが実行されると、Secure Agentは詳細セッションプロパティで指定されたファイルのこのパラメータを使用します。
オブジェクト
マッピングのソースオブジェクト。
次の表に、ソーストランスフォーメーションで設定できるオープンテーブルクエリオプションを示します。
プロパティ
説明
Filter
読み取り操作で値をフィルタ処理します。［設定］をクリックして、条件を追加してレコードをフィルタ処理し、Secure Agentがソースから読み取る行数を縮小します。
指定できるフィルタ条件を次に示します。
  • - パラメータを使用しません。基本フィルタを使用して、オブジェクト、フィールド、演算子、および値を指定して特定のレコードを選択します。
  • - すべてパラメータを使用します: パラメータを使用してフィールドマッピングを表現します。
  • - 詳細。詳細フィルタを使用して、オープンテーブルクエリ形式を使用するさらに複合的なフィルタ条件を定義します。
ソート
適用できません
次の表に、ソーストランスフォーメーションで設定できるオープンテーブルソースの詳細プロパティを示します。
プロパティ
説明
Iceberg Sparkのプロパティ
Icebergテーブルに設定するプロパティ。
プロパティは次の形式で入力します。
<パラメータ名>=<パラメータ値>
複数のプロパティを入力する場合は、それぞれのプロパティを新しい行に入力します。
マッピングにおいて、AWS GlueカタログとAmazon S3を併用し、それらが異なるリージョンにある場合は、Amazon S3バケットリージョンのプロパティを次の形式で指定する必要があります。
BucketRegion=<bucket-region-name>
マッピングにおいて、AWS GlueカタログとAmazon S3を併用し、それらが異なるリージョンにある場合は、Amazon S3バケットリージョンのプロパティを次の形式で指定する必要があります。
s3.access-points.<bucket-name>=<S3-bucket-ARN>
Amazon S3バケットARNの詳細については、ナレッジベースの記事「Create the ARN for your AWS S3 bucket」を参照してください。
HiveメタストアをAmazon S3と組み合わせて使用する場合、Amazon S3バケットリージョンのプロパティを以下の形式で指定する必要があります。
BucketRegion=<Amazon-S3-bucket-region-name>
RESTカタログをAmazon S3と組み合わせて使用する場合、Amazon S3バケットリージョンのプロパティを以下の形式で指定する必要があります。
restcatalog.iceberg.s3.client.region=<Amazon-S3-bucket-region-name>
Delta Sparkのプロパティ*
Delta Lakeテーブルに対して設定するプロパティ。
プロパティは次の形式で入力します。
<パラメータ名>=<パラメータ値>
複数のプロパティを入力する場合は、それぞれのプロパティを新しい行に入力します。
Amazon S3でAWS Glueカタログを使用しており、それらが異なるリージョンにある場合は、Amazon S3バケットリージョンのプロパティを次の形式で指定する必要があります。
BucketRegion=<bucket-region-name>
Pre-SQL
Apache Icebergオープンテーブル形式からデータを読み取る前に実行するPre-SQLクエリ。
セミコロンで区切った複数のクエリを入力できます。
  • - マッピングの場合は、SQLクエリで必ず有効なAthena SQL構文を使用します。
  • - 詳細モードでのマッピングの場合は、SQLクエリで必ず有効なSpark SQL構文を使用します。
    • テーブル名の前に<OpenTableCatalog>文字列とデータベース名を入力する必要があります。
    例: <OpenTableCatalog>.databasename.tablename
    クエリのデータベース名とテーブル名の識別子は小文字にする必要があります。
Pre-SQLクエリが失敗すると、マッピングも失敗します。
Post-SQL
Apache Icebergオープンテーブル形式からデータを読み取った後に実行するPost-SQLクエリ。
セミコロンで区切った複数のクエリを入力できます。
  • - マッピングの場合は、SQLクエリで必ず有効なAthena SQL構文を使用します。
  • - 詳細モードでのマッピングの場合は、SQLクエリで必ず有効なSpark SQL構文を使用します。
    • テーブル名の前に<OpenTableCatalog>文字列とデータベース名を入力する必要があります。
    例: <OpenTableCatalog>.databasename.tablename
    クエリのデータベース名とテーブル名の識別子は小文字にする必要があります。
Post-SQLクエリが失敗すると、マッピングも失敗します。マッピングが失敗した場合、Post-SQLクエリは実行されません。
トレースレベル
ログファイルに表示される詳細情報の量を設定します。
［簡易］、［通常］、［詳細 - 初期化］、［詳細 - データ］から選択できます。デフォルトは［通常］です。
*詳細モードのマッピングにのみ適用されます。