機能
次のソースから読み取りを行い、Snowflakeターゲットに書き込みを行うマッピングまたは詳細モードのマッピングにSQL ELTの最適化を設定できます。
- •Snowflakeソース
- •Amazon S3ソース
- •Google Cloud Storageソース1
- •Microsoft Azure Data Lake Storage Gen2ソース
注: 1詳細モードのマッピングには適用されません。
マッピングを設定する場合、SQL ELTの最適化が有効になっているマッピングについては、一部のパラメータがサポートされません。各ソースがサポートするパラメータのリストを参照してください。
Snowflake Data Cloudのソース、ターゲット、およびルックアップ
SQL ELTの最適化を設定する場合は、ソース、ターゲット、およびルックアップトランスフォーメーションでサポートされているSnowflake Data Cloudプロパティのこのリストを参照してください。
ソースのプロパティ
Snowflakeソーストランスフォーメーションでは次のプロパティを設定できます。
- •ソース接続 - パラメータ、実行時にパラメータのオーバーライドを許可する
- •ソースタイプ - 単一オブジェクト、複数オブジェクト、クエリ、およびパラメータ。パラメータファイルを使用して、マッピングタスクから、マッピング内のSnowflakeのソース接続とオブジェクトをオーバーライドすることもできます。
注: クエリソースタイプを使用してSnowflakeから読み取った場合は、フィールドメタデータを保持してマッピングを保存するという選択ができます。クエリを編集してマッピングを実行した場合でも、設計時に指定したフィールドメタデータは保持されます。
- •実行時にパラメータのオーバーライドを許可する。
- •クエリオプション - フィルタと結合。簡易フィルタ条件と詳細フィルタ条件を使用できます。結合を使用して、既存のリレーションに基づいて関連するオブジェクトを結合したり、詳細リレーションを作成したりすることができます。
- •データベースオーバーライド
- •スキーマオーバーライド
- •ウェアハウスオーバーライド
- •Pre-SQLおよびPost-SQL
- •ロールオーバーライド
- •テーブル名のオーバーライド
- •SQLオーバーライド
- •トレースレベル
次のソースプロパティは、完全なSQL ELTの最適化が有効になっているマッピングには適用されません。
- •ウェアハウスオーバーライド
- •Pre-SQLおよびPost-SQL
- •ロールオーバーライド
次のソースプロパティは、Snowflakeソーストランスフォーメーションには適用されません。
ターゲットプロパティ
マッピングには複数のSnowflakeターゲットを追加できます。ターゲットには、複数回追加された同じSnowflakeターゲットテーブル、または異なるSnowflakeターゲットテーブルを設定することができます。
Snowflakeターゲットトランスフォーメーションでは次のプロパティを設定できます。
- •ターゲット接続 - パラメータ、実行時にパラメータのオーバーライドを許可する。
- •ターゲットタイプ - 単一オブジェクト、パラメータ。パラメータファイルを使用して、マッピングタスクから、マッピング内のSnowflakeのターゲット接続とオブジェクトをオーバーライドすることもできます。
- •実行時にパラメータのオーバーライドを許可する
- •ターゲットオブジェクト - 既存のターゲット、実行時に新規作成。
- •操作 - 挿入、更新、更新/挿入、削除、またはデータドリブン
- •データベースオーバーライド
- •スキーマオーバーライド
- •ウェアハウスオーバーライド
- •ロールオーバーライド
- •Pre-SQLおよびPost-SQL
- •テーブル名のオーバーライド
- •ターゲットテーブルの切り詰め
- •追加の書き込みランタイムパラメータ
次のターゲットプロパティは、Snowflakeターゲットトランスフォーメーションには適用されません。
- •更新モード
- •バッチ行のサイズ
- •ローカルステージングファイルの数
- •拒否ファイルパス
- •更新オーバーライド
- •拒否された行の転送
注: 詳細モードのマッピングで複数のターゲットに書き込む場合は、挿入操作のみを使用できます。
ルックアップのプロパティ
SQL ELTの最適化を有効にすると、Snowflakeの接続済みのルックアップおよび未接続のルックアップに次のようなプロパティを設定できます。
- •ルックアップ接続 - パラメータ、実行時にパラメータのオーバーライドを許可する
- •ソースタイプ - 単一オブジェクト、クエリ、パラメータ。パラメータファイルを使用して、マッピングタスクから、マッピング内のSnowflakeのルックアップ接続とオブジェクトをオーバーライドすることもできます。
- •複数一致 - エラーを報告
- •データベースオーバーライド
- •スキーマオーバーライド
- •ウェアハウスオーバーライド
- •ロールオーバーライド
- •テーブル名のオーバーライド
- •SQLオーバーライド
- •トレースレベル
- •ルックアップデータフィルタ
次のルックアッププロパティは、Snowflakeの接続済みのルックアップと未接続のルックアップには適用されません。
マッピングのガイドライン
マッピングを設定する場合は、次のガイドラインを考慮してください。
Amazon S3 V2ソース
マッピングは、Amazon S3 V2接続について、次のプロパティをサポートします。
マッピングは、Amazon S3 V2ソースについて、次のプロパティをサポートします。
- •ソース接続パラメータ
- •ソースタイプ - 単一、パラメータ
- •形式 - 区切り、Avro、ORC、Parquet、およびJSON
- •ソースタイプ - ファイルとディレクトリ
- •フォルダパス
- •ファイル名
- •圧縮形式。- Gzip
Amazon S3 V2ソースから読み取りを行い、Snowflakeターゲットに書き込みを行うSQL ELTの最適化が有効になっているマッピングには、いくつかの制限があります。
認証
IAM認証が有効になっているAmazon S3接続を使用して複数のAvroファイルを読み取る場合は、Amazon S3接続で正しいアクセスキーとシークレットキーを指定します。詳細については、Amazon S3 V2コネクタのヘルプを参照してください。
実行時の新しいターゲットの作成
実行時に新しいターゲットを作成するマッピングには、次のような制限があります。
- •Amazon S3からのAvro、ORC、ParquetなどのファイルデータタイプからSnowflakeにデータを書き込む場合は、［ファイル名］フィールドを削除する必要があります。
- •テーブル名にUnicode文字が含まれている場合、マッピングはキャストエラーで失敗します。
データ型
マッピングには、特定のデータ型に対する次のような制限があります。
- •特殊文字を含むAvroファイルを書き込むことはできません。
- •バイナリデータ型を含むデータを書き込むことはできません。
- •特殊文字を含むJSON形式のデータを読み取ることはできません。識別子の使用の詳細については、SnowflakeのドキュメントのIdentifiers Syntaxを参照してください。
- •S3ファイル形式にエスケープ文字を指定すると、エスケープ文字はデフォルトで円記号になります。
- •1523年のORCファイルは1524年として誤ってロードされます。
- •ParquetファイルからのTimeデータ型のデータをAmazon S3からSnowflakeに書き込む場合、時間の値はターゲットと異なります。
- •JSONデータの精度は、Snowflakeターゲットテーブルの精度を超えないようにする必要があります。
- •Amazon S3ソースタイプがディレクトリであり、ディレクトリに対してワイルドカード文字を有効にすると、マッピングは失敗します。読み取ったワイルドカード文字がSQL ELTの最適化ではサポートされていないことを示す警告メッセージが表示されます。
サポートされているプロパティを設定する方法については、Amazon S3 V2コネクタのヘルプを参照してください。
Google Cloud Storage V2ソース
マッピングは、Google Cloud Storage V2ソース接続について、次のプロパティをサポートします。
- •ソース接続、接続パラメータ
- •ソースタイプ - 単一、パラメータ
- •形式 - 区切り、Avro、Parquet、およびJSON
- •Google Cloud Storageパス
- •ソースファイル名
- •ディレクトリ
注: 詳細モードでは、ソースとしてのGoogle Cloud Storage V2はSQL ELTの最適化には適用されません。
サポートされているプロパティを設定する方法については、Google Cloud Storage V2コネクタのヘルプを参照してください。
Microsoft Azure Data Lake Storage Gen2ソース
マッピングは、Microsoft Azure Data Lake Storage Gen2ソース接続について、次のプロパティをサポートします。
マッピングは、Microsoft Azure Data Lake Storage Gen2ソースについて、次のプロパティをサポートします。
- •ソース接続、接続パラメータ
- •ソースタイプ - 単一、パラメータ
- •形式 - 区切り、Avro、Parquet、JSON、およびORC
- •形式オプション
- •ファイルシステム名のオーバーライド
- •ソースタイプ - ファイル、ディレクトリ
- •ディレクトリのオーバーライド - 絶対パス、相対パス
- •ファイル名のオーバーライド - ソースオブジェクト
- •圧縮形式 - フラットファイルを読み取るためのGZip
- •トレースレベル
サポートされているプロパティを設定する方法については、Microsoft Azure Data Lake Storage Gen2コネクタのヘルプを参照してください。