SQL ELTの紹介

クラウドデータウェアハウスからデータの読み取りを行い、同じクラウドデータウェアハウスにそのデータの書き込みを行うことができます。また、クラウドエコシステム内のデータレイクからデータの読み取りを行い、同じエコシステム内のクラウドデータウェアハウスにそのデータの書き込みを行うこともできます。データ統合は、トランスフォーメーションロジックを、基礎となるクラウドインフラストラクチャで実行されているエコシステム固有のコマンドおよびSQL文に変換します。これにより、処理のためにクラウドインフラストラクチャからデータが移動されることがなくなるため、データ処理速度が向上します。

例

あなたはヘルスケアソリューションで働いており、組織は薬局や薬局チェーンにヘルスケアテクノロジを提供しています。薬局が処方箋を処理し、医療記録へのアクセスを保存および提供して、患者の転帰を改善できるようにするとします。組織はAmazon S3にデータを保存しています。

経営陣は、患者中心の薬局管理システムを作成したいと考えています。この組織は、Snowflakeのウェアハウスインフラストラクチャを活用し、そのすべてのデータをSnowflakeにロードして、運用、財務、および臨床上の意思決定を容易に行えるようにしようと計画しています。

データをAmazon S3オブジェクトからSnowflakeにロードするには、データウェアハウスモデルをサポートする必要なトランスフォーメーションでSQL ELTを使用する必要があります。Amazon S3 V接続を使用してAmazon S3ソースからデータの読み取りを行い、Snowflake Data Cloud接続を使用してSnowflakeターゲットへの書き込みを行います。 Amazon S3ソースデータはPUTコマンドを使用してSnowflakeステージへアップロードされます。Snowflake COPYコマンドは、データをSnowflakeにロードするときに、トランスフォーメーションを対応するSQL関数および式に変換するのに使用されます。SQLマッピングを設定することにより、タスクのパフォーマンスを向上させ、関連するコストを削減することができます。