Enterprise Data Preparation
ここでは、バージョン10.4.0の新しいEnterprise Data Preparation機能について説明します。
Data Lakeのアクセス管理
バージョン10.4.0では、Data LakeのHiveスキーマとHDFSの場所を表すEnterprise Data Catalogリソースに対する権限をEnterprise Data Preparationユーザーとユーザーグループに割り当てることで、Data Lakeへのアクセスを管理できます。
特定のスキーマや場所に対する権限をユーザまたはユーザーグループに付与すると、アプリケーションにはユーザーによるインポート、パブリッシュ、またはアップロード操作の実行時にユーザーが権限を持つスキーマと場所のみが表示されます。
詳細については、Enterprise Data Preparation 10.4.0管理者ガイドを参照してください。
データソースとしてのMicrosoft Azure Data Lake Storage
バージョン10.4.0では、Microsoft Azure Data Lake Storage Gen2の場所をデータソースとして使用できます。
Data Lakeへのファイルのパブリッシュ
バージョン10.4.0では、ファイル内の準備済みデータをData Lake内のHDFSの場所にパブリッシュできます。
データをパブリッシュする際、Data Lake内でデータを書き込むためのファイルタイプを選択できます。例えば、データをカンマ区切り値ファイルとしてパブリッシュする場合、アプリケーションはデータを.csvファイルとしてData Lakeに書き込みます。
詳細については、『Enterprise Data Preparation 10.4.0ユーザーガイド』を参照してください。
Data Lakeへのファイルのアップロード
バージョン10.4.0では、ローカルドライブからData Lakeへ複数のファイル形式をアップロードできます。
アップロードオプションは、次のいずれかを選択できます。
- Data Lakeへファイルを直接アップロードします。
データをプレビューせずに、カンマ区切りファイル、Avroファイル、JSONファイル、またはParquetファイルを、UTF-8形式でローカルドライブからData Lakeへ直接アップロードします。データをプレビューせずにファイルをアップロードする場合もこのオプションを選択できます。
- CLAIREを使用してファイルの構造を判断してから、Data Lakeにファイルをアップロードします。
カンマ区切りファイルまたはMicrosoft Excelスプレッドシート内のデータをData Lakeにアップロードできます。ファイルをアップロードする際に、Enterprise Data PreparationはCLAIREが組み込まれた検出エンジンを使用してファイルの構造を判断し、データのプレビューを表示します。
このオプションを使用してExcelスプレッドシートをアップロードすると、CLAIREエンジンはスプレッドシート内のシートとテーブルを検出します。プレビューするシートとテーブルを選択できます。
注: Excelスプレッドシートのアップロードはプレビュー機能です。
- ファイルの構造を定義してから、Data Lakeにファイルをアップロードします。
カンマ区切りファイル内のデータをローカルドライブからData Lakeにアップロードできます。ファイルをアップロードする際に、要件を満たすように、データをプレビューし、ファイルの構造を指定し、カラム属性を設定することができます。ファイルをアップロードする前にカラム属性を変更する必要がある場合も、このオプションを選択できます。
詳細については、『Enterprise Data Preparation 10.4.0ユーザーガイド』を参照してください。