オープンテーブルコネクタ > オープンテーブルコネクタを使用したマッピングとマッピングタスク > マッピングのオープンテーブルルックアップ
  

マッピングのオープンテーブルルックアップ

マッピングで、オープンテーブルオブジェクトを表すようにルックアップトランスフォーメーションを設定できます。
指定したルックアップ条件に基づいて、オープンテーブルルックアップオブジェクトからデータを取得できます。
次の表に、ルックアップトランスフォーメーションで設定できるオープンテーブルルックアップのプロパティを示します。
プロパティ
説明
接続
ルックアップ接続の名前。
既存の接続の選択、新しい接続の作成、またはルックアップ接続プロパティのパラメータ値の定義ができます。
実行時にターゲット接続プロパティを上書きする場合は、［実行時にパラメータのオーバーライドを許可する］オプションを選択します。
ソースタイプ
オープンテーブルルックアップオブジェクトのタイプ。
次のいずれかのルックアップオブジェクトタイプを選択します。
  • - 単一オブジェクト。単一のオープンテーブルオブジェクトを指定する場合に選択します。
  • - パラメータ。パラメータ名を指定する場合に選択します。このルックアップトランスフォーメーションを使用しているマッピングに関連付けられたマッピングタスクでルックアップオブジェクトを設定できます。
パラメータ
タスクを編集せずに更新する値を定義するパラメータファイル。
ルックアップオブジェクトに既存のパラメータを選択するか、［新しいパラメータ］をクリックしてルックアップオブジェクトに新しいパラメータを定義します。
パラメータをソースタイプとして選択する場合にのみ、［パラメータ］プロパティが表示されます。
実行時にルックアップオブジェクトを上書きする場合は、［実行時にパラメータのオーバーライドを許可する］オプションを選択します。
タスクが実行されると、Secure Agentは詳細セッションプロパティで指定されたファイルのこのパラメータを使用します。
ルックアップオブジェクト
オープンテーブルルックアップオブジェクトの名前。
複数一致
ルックアップ条件によって複数の一致が返された場合の動作。
以下のいずれかのオプションを選択することができます。
  • - 任意の行を返す
  • - すべての行を返す
  • - エラーを報告
ルックアップの設定に関する詳細については、データ統合のマニュアルにある「トランスフォーメーション」ガイドを参照してください。
次の表に、ルックアップトランスフォーメーションで設定できるオープンテーブルルックアップの詳細プロパティを示します。
プロパティ
説明
Iceberg Sparkのプロパティ
Icebergテーブルに設定するプロパティ。
プロパティは次の形式で入力します。
<パラメータ名>=<パラメータ値>
複数のプロパティを入力する場合は、それぞれのプロパティを新しい行に入力します。
マッピングにおいて、AWS GlueカタログとAmazon S3を併用し、それらが異なるリージョンにある場合は、Amazon S3バケットリージョンのプロパティを次の形式で指定する必要があります。
BucketRegion=<bucket-region-name>
詳細モードでのマッピングにおいて、AWS GlueカタログとAmazon S3を併用し、それらが異なるリージョンにある場合は、Amazon S3バケットARNのプロパティを次の形式で指定する必要があります。
s3.access-points.<bucket-name>=<S3-bucket-ARN>
Amazon S3バケットARNの詳細については、ナレッジベースの記事「Create the ARN for your AWS S3 bucket」を参照してください。
HiveメタストアをAmazon S3と組み合わせて使用する場合、Amazon S3バケットリージョンのプロパティを以下の形式で指定する必要があります。
BucketRegion=<Amazon-S3-bucket-region-name>
RESTカタログをAmazon S3と組み合わせて使用する場合、Amazon S3バケットリージョンのプロパティを以下の形式で指定する必要があります。
restcatalog.iceberg.s3.client.region=<Amazon-S3-bucket-region-name>
Delta Sparkのプロパティ*
Delta Lakeテーブルに対して設定するプロパティ。
プロパティは次の形式で入力します。
<パラメータ名>=<パラメータ値>
複数のプロパティを入力する場合は、それぞれのプロパティを新しい行に入力します。
Amazon S3でAWS Glueカタログを使用しており、それらが異なるリージョンにある場合は、Amazon S3バケットリージョンのプロパティを次の形式で指定する必要があります。
BucketRegion=<bucket-region-name>
Pre-SQL
Apache Icebergオープンテーブル形式にデータを読み込む前に実行するPre-SQLクエリ。
セミコロンで区切った複数のクエリを入力できます。
  • - マッピングの場合は、SQLクエリで必ず有効なAthena SQL構文を使用します。
  • - 詳細モードでのマッピングの場合は、SQLクエリで必ず有効なSpark SQL構文を使用します。
    • テーブル名の前に<OpenTableCatalog>文字列とデータベース名を入力する必要があります。
    例: <OpenTableCatalog>.databasename.tablename
    クエリのデータベース名とテーブル名の識別子は小文字にする必要があります。
Pre-SQLクエリが失敗すると、マッピングも失敗します。
Post-SQL
データをApache Icebergオープンテーブル形式に読み取った後に実行するPost-SQLクエリ。
セミコロンで区切った複数のクエリを入力できます。
  • - マッピングの場合は、SQLクエリで必ず有効なAthena SQL構文を使用します。
  • - 詳細モードでのマッピングの場合は、SQLクエリで必ず有効なSpark SQL構文を使用します。
    • テーブル名の前に<OpenTableCatalog>文字列とデータベース名を入力する必要があります。
    例: <OpenTableCatalog>.databasename.tablename
    クエリのデータベース名とテーブル名の識別子は小文字にする必要があります。
Post-SQLクエリが失敗すると、マッピングも失敗します。マッピングが失敗した場合、Post-SQLクエリは実行されません。
*詳細モードのマッピングにのみ適用されます。