部 I: Snowflake Data Cloud Connectorの使用の開始
Snowflake Data Cloud Connectorの概要
Snowflake Data Cloud Connectorアセット
Snowflake Data Cloudへの接続
認証の準備
標準
承認コード
キーペア
クライアント資格情報。
Snowflakeへの接続
始める前に
接続の詳細
認証タイプ
関連リンク
JDBC URLパラメータ
外部OAuth認証用のMicrosoft Azure Active Directory
プロキシサーバーの設定
Snowflakeにアクセスするためのプライベートリンク
キーペア認証を使用したサーバーレスランタイム環境の使用
部 II: Snowflake Data Cloud Connectorとのデータ統合
Snowflake Data Cloudのマッピング
始める前に
権限の確認
ポートの確認
Snowflake Data Cloudのトランスフォーメーション
SQLトランスフォーメーション
動的スキーマの処理
詳細モードのマッピングの動的スキーマの処理
動的スキーマ処理のルールとガイドライン
マッピングの例
詳細モードのマッピングの例
詳細モードのマッピングのパラメータ化の制限
Snowflake Data Cloudのソース
Snowflake Data Cloudのソースプロパティ
ソースオブジェクトと操作
キー範囲パーティション化
SQLのオーバーライド
Snowflake Data Cloudのターゲット
Snowflake Data Cloudのターゲットプロパティ
ランタイムパラメータの書き込み
ターゲットオブジェクトと操作
パススルーのパーティション化
ターゲットの指定
更新操作のオーバーライド
.csvファイルサイズの最適化
バッチサイズとローカルステージングファイルの数の設定
マッピングでのプロパティのロードの設定
詳細モードのマッピングを実行するための追加のランタイムパラメータの設定
CDCソースからの変更データのキャプチャ
CDCソースから読み取るためのマッピングタスクの設定
リカバリメカニズムの無効化
ジョブの統計の表示
Snowflake Data Cloudターゲットトランスフォーメーションのルールとガイドライン
Snowflake Data Cloudのルックアップ
Snowflake Data Cloudのルックアッププロパティ
パラメータ化
複数一致の制限
ルックアップキャッシングの有効化
キャッシュを使用しないルックアップクエリのロギング
マッピングの移行
移行の計画
同じパス内でのマッピングの移行
別のパスへのマッピングの移行
移行オプション
移行の制限
複数のソースオブジェクトを含むマッピングの移行
詳細フィルタとテーブル名のオーバーライドを含むマッピングの移行
SQLオーバーライドとカスタムクエリを含むマッピングの移行
部 III: Snowflake Data Cloud Connectorを使用したSQL ELT
SQL ELTの紹介
Configuring SQL ELT
SQL ELTクエリのプレビュー
SQL ELTの準備
Amazon S3バケット内のデータファイルへのアクセス
Amazon S3のストレージ統合の設定
Google Cloud Storageバケット内のデータファイルへのアクセス
Google Cloud Storageのストレージ統合の設定
Microsoft Azure Data Lake Storage Gen2コンテナ内のデータファイルへのアクセス
Microsoft Azure Data Lake Storage Gen2のストレージ統合の設定
格納場所へのアクセス権の付与
SQL ELTの権限の確認
SQL ELTモードでのSnowflake Data Cloudのマッピング
SQL ELTのモードのマッピングのソース
SQL ELTモードのマッピング内のターゲット
SQL ELTモードのマッピング内のトランスフォーメーション
SQL ELTモードのマッピング内の関数
SQL ELTモードのマッピング内の演算子
SQL ELTモードでのマッピングのルールとガイドライン
マッピングタスクのSQL ELTの最適化
SQL ELTの最適化のタイプ
SQL ELTの互換性
Snowflake Data Cloudでの関数
Snowflake Data Cloudでの演算子
Snowflake Data Cloudでの変数
Snowflake Data Cloudでのトランスフォーメーション
アグリゲータトランスフォーメーション
式トランスフォーメーション
階層プロセッサトランスフォーメーション
ルックアップトランスフォーメーション
ノーマライザトランスフォーメーション
ルータートランスフォーメーション
シーケンスジェネレータトランスフォーメーション
SQLトランスフォーメーション
共有体トランスフォーメーション
アップデートストラテジトランスフォーメーション
機能
Snowflake Data Cloudのソース、ターゲット、およびルックアップ
Amazon S3 V2ソース
Google Cloud Storage V2ソース
Microsoft Azure Data Lake Storage Gen2ソース
ソースオーバーライドの一時ビューの作成
ターゲットコピーコマンドオプションの設定
データフロー実行順序
SQL ELTの最適化の設定
複数のターゲットに対するコンテキストベースの最適化
SCDタイプ2マージマッピングに関する説明
異なるスキーマを持つデータベースへのロジックのプッシュ
クロススキーマSQL ELTの最適化の設定
別のデータベースへのロジックのプッシュ
クロスデータベースSQL ELTの最適化の設定
SQL ELTの最適化ジョブのクリーン停止
セッションログでのSQL ELTクエリの確認
トラブルシューティング
データ型リファレンス
Snowflake Data Cloudおよびトランスフォーメーションデータ型
半構造化データ型とトランスフォーメーションデータ型
データ型のルールとガイドライン
追加のランタイム設定
JVMメモリ要件の設定
一括処理の設定
ロギングプロパティの設定
マッピングのための一時ディレクトリの設定
マッピングのステージングパフォーマンスの最適化
CDCマッピングでの書き込み操作の最適化
Snowflake Data Cloud Connectorへのアップグレード
接続切り替えの例
切り替え後に保持されるプロパティ
ルールおよびガイドライン
部 I: Snowflake Data Cloud Connectorの使用の開始
ルールおよびガイドライン
CDI_SNOWFLAKE_DATA_CLOUD_PREPARE_FOR_AUTHENTICATION
DW_SNOWFLAKEV2_CONN
DW_SNOWFLAKEV2_CONN-CONN_NAME
DW_SNOWFLAKEV2_CONN-CONN_DESC
DW_SNOWFLAKEV2_CONN-CONN_TYPE
DW_SNOWFLAKEV2_CONN-AGENTGROUPID
DW_SNOWFLAKEV2_CONN-AUTHENTICATION
DW_SNOWFLAKEV2_CONN-AUTHENTICATION-STANDARD
DW_SNOWFLAKEV2_CONN-STANDARD-USER
DW_SNOWFLAKEV2_CONN-STANDARD-PASSWORD
DW_SNOWFLAKEV2_CONN-STANDARD-ACCOUNT
DW_SNOWFLAKEV2_CONN-STANDARD-WAREHOUSE
DW_SNOWFLAKEV2_CONN-STANDARD-ROLE
DW_SNOWFLAKEV2_CONN-STANDARD-ADDITIONALPARAM
DW_SNOWFLAKEV2_CONN-AUTHENTICATION-AUTHORIZATIONCODE
DW_SNOWFLAKEV2_CONN-AUTHORIZATIONCODE-ACCOUNT
DW_SNOWFLAKEV2_CONN-AUTHORIZATIONCODE-WAREHOUSE
DW_SNOWFLAKEV2_CONN-AUTHORIZATIONCODE-OAUTHURL
DW_SNOWFLAKEV2_CONN-AUTHORIZATIONCODE-ACCESSTOKENURL
DW_SNOWFLAKEV2_CONN-AUTHORIZATIONCODE-CLIENTID
DW_SNOWFLAKEV2_CONN-AUTHORIZATIONCODE-CLIENTSECRET
DW_SNOWFLAKEV2_CONN-AUTHORIZATIONCODE-ACCESSTOKEN
DW_SNOWFLAKEV2_CONN-AUTHORIZATIONCODE-ADDITIONALPARAM
DW_SNOWFLAKEV2_CONN-AUTHORIZATIONCODE-SCOPE
DW_SNOWFLAKEV2_CONN-AUTHORIZATIONCODE-ACCESSTOKENPARAMETERS
DW_SNOWFLAKEV2_CONN-AUTHORIZATIONCODE-AUTHORIZATIONCODEPARAMETERS
DW_SNOWFLAKEV2_CONN-AUTHORIZATIONCODE-REFRESHTOKEN
DW_SNOWFLAKEV2_CONN-AUTHENTICATION-KEYPAIR
DW_SNOWFLAKEV2_CONN-KEYPAIR-USER
DW_SNOWFLAKEV2_CONN-KEYPAIR-ACCOUNT
DW_SNOWFLAKEV2_CONN-KEYPAIR-WAREHOUSE
DW_SNOWFLAKEV2_CONN-KEYPAIR-PRIVATEKEYFILE
DW_SNOWFLAKEV2_CONN-KEYPAIR-ADDITIONALPARAM
DW_SNOWFLAKEV2_CONN-KEYPAIR-PRIVATEKEYFILEPWD
DW_SNOWFLAKEV2_CONN-AUTHENTICATION-CLIENTCREDENTIALS
DW_SNOWFLAKEV2_CONN-CLIENTCREDENTIALS-ACCOUNT
DW_SNOWFLAKEV2_CONN-CLIENTCREDENTIALS-WAREHOUSE
DW_SNOWFLAKEV2_CONN-CLIENTCREDENTIALS-ACCESSTOKENURL
DW_SNOWFLAKEV2_CONN-CLIENTCREDENTIALS-CLIENTID
DW_SNOWFLAKEV2_CONN-CLIENTCREDENTIALS-CLIENTSECRET
DW_SNOWFLAKEV2_CONN-CLIENTCREDENTIALS-SCOPE
DW_SNOWFLAKEV2_CONN-CLIENTCREDENTIALS-ACCESSTOKEN
DW_SNOWFLAKEV2_CONN-CLIENTCREDENTIALS-ADDITIONALPARAM
DW_SNOWFLAKEV2_CONN-CLIENTCREDENTIALS-ACCESSTOKENPARAMETERS
CDI_SNOWFLAKE_DATA_CLOUD_CONFIGURE_PROXY_SETTING
CDI_SNOWFLAKE_DATA_CLOUD_CONFIGURE_PRIVATE_CONNECTVITY