PowerExchange Adapters for Informatica
ここでは、バージョン10.2.2の新しいInformaticaアダプタ機能について説明します。
PowerExchange for Amazon Redshift
バージョン10.2.2では、PowerExchange for Amazon Redshiftに次の新機能が搭載されています。
- •次のリージョンに対してデータを読み取りおよび書き込みできます。
- •Amazon Redshiftオブジェクトは、マッピングでの動的ソースおよびターゲットとして使用できます。
- •ASCIIの印刷できる文字と印刷できない文字の8進数値が、DELIMITERまたはQUOTEとして使用できます。
- •マッピングのソースオブジェクトとターゲットオブジェクトに対して、Pre-SQLコマンドとPost-SQLコマンドを入力してクエリを実行できます。
- •マッピングの読み取りデータオブジェクトに対してSQLクエリを定義することで、デフォルトクエリを上書きできます。Amazon RedshiftデータベースでサポートされているSQL文を入力できます。
- •大きいAmazon S3オブジェクトを複数の部分に分けてダウンロードする場合は、Amazon S3オブジェクトの最大サイズをバイト単位で指定できます。
- •Amazon Redshiftソースからデータを読み取る際は、一意の値を読み取ることができます。
- •オブジェクトをAmazon S3にアップロードする際、オブジェクトの最小サイズとスレッドの数を指定することで、オブジェクトを独立した部分のセットとして並列にアップロードできます。
- •テーブルがターゲットに存在しない場合は、既存のターゲットテーブルの保持、実行時のターゲットテーブルの置き換え、新しいターゲットテーブルの作成から選択できます。
- •ネイティブ環境では、Amazon Redshiftターゲットにアップデートストラテジトランスフォーメーションを設定できます。
- •データをAmazon Redshiftに書き込む際、Amazon Redshiftターゲットテーブルのスキーマとテーブルは実行時にオーバーライドできます。
- •接続タイプがODBCの場合、データ統合サービスはソース側プッシュダウン最適化とプッシュダウン完全最適化を使用して、トランスフォーメーションロジックをAmazon Redshiftソースとターゲットにプッシュできます。
- •AWS KMS(AWS Key Management Service)によるサーバー側の暗号化は、Amazon EMRバージョン5.16およびCloudera CDHバージョン5.15/5.16で使用できます。
- •PowerExchange for Amazon RedshiftではAWS SDKをJavaバージョン1.11.354でサポートします。
詳細については、『Informatica PowerExchange for Amazon Redshift 10.2.2ユーザーガイド』を参照してください。
PowerExchange for Amazon S3
バージョン10.2.2では、PowerExchange for Amazon S3に次の新機能が搭載されています。
- •次のリージョンに対してデータを読み取りおよび書き込みできます。
- - 中国(寧夏)
- - EU(パリ)
- - AWS GovCloud(米国)
- •Amazon S3オブジェクトは、マッピングでの動的ソースおよびターゲットとして使用できます。
- •ネイティブ環境またはSparkエンジンでマッピングを実行してAvro、フラット、JSON、ORC、またはParquetの各ファイルからデータを読み取る際、ソースディレクトリ名やソースファイル名を指定するのにワイルドカード文字が使用できます。
- •Amazon S3バケットに格納されているオブジェクトに、1つまたは複数のタグを追加して、オブジェクトを分類できます。各タグには、キー値のペアが含まれます。キー値のペアを入力するか、キー値のペアを含む絶対ファイルパスを指定することができます。
- •最大しきい値サイズを指定すると、Amazon S3オブジェクトを複数の部分に分けてダウンロードできます。
- •オブジェクトをAmazon S3にアップロードする際、オブジェクトの最小サイズとスレッドの数を指定することで、オブジェクトを独立した部分のセットとして並列にアップロードできます。
- •データオブジェクト読み取り/書き込み操作を作成する際、FileNameポートに存在しエンドポイント名とファイルのソースパスを含むデータの読み取りができます。
- •データオブジェクト読み取り/書き込み操作を作成する際には、新しいカラムの追加やカラムの変更が[ポート]タブで直接できます。
- •Avro、JSON、ORC、またはParquetの各ファイルに対する読み取り/書き込みをするためのマッピングを作成する場合は、ソーストランスフォーメーションやターゲットトランスフォーメーションなどのトランスフォーメーションのカラムを[ポート]タブからコピーして、データオブジェクト読み取り/書き込み操作のカラムに直接貼り付けることができます。
- •Amazon S3ファイル形式は、カラムプロジェクションプロパティの[スキーマ]フィールドのカラムメタデータを失うことなくアップデートできます。カラムプロジェクションプロパティを別のファイル形式向けに設定した後であっても同じです。
- •AWS KMS(AWS Key Management Service)によるサーバー側の暗号化は、Amazon EMRバージョン5.16およびCloudera CDHバージョン5.15/5.16で使用できます。
- •PowerExchange for Amazon S3ではAWS SDKをJavaバージョン1.11.354でサポートします。
詳細については、『Informatica PowerExchange for Amazon S3 10.2.2ユーザーガイド』を参照してください。
PowerExchange for Google BigQuery
バージョン10.2.2では、Google BigQueryターゲットは[ターゲットの作成]オプションの右クリックを使用して作成できるようになりました。
詳細については、『Informatica PowerExchange for Google BigQuery 10.2.2ユーザーガイド』を参照してください。
PowerExchange for HBase
バージョン10.2.2では、PowerExchange for HBaseに次の新機能が追加されました。
- •HBaseデータオブジェクトの作成時、オペレーティングシステムのプロファイルを選択すると、Hadoopクラスタからメタデータをインポートしてプレビューする際、セキュリティが向上し、設計時ユーザー環境が分離されます。
注: オペレーティングシステムのプロファイルは、メタデータアクセスサービスでオペレーティングシステムのプロファイルを使用するよう設定されている場合に選択できます。メタデータアクセスサービスは、ユーザーに割り当てられたデフォルトのオペレーティングシステムのプロファイルを使用してメタデータをインポートします。オペレーティングシステムのプロファイルは、使用可能なオペレーティングシステムのプロファイルのリストから変更できます。
- •HBaseオブジェクトは、マッピングでの動的ソースおよびターゲットとして使用できます。
- •HBaseリソース内のデータをルックアップするには、マッピングはSparkエンジンで実行します。
詳細については、『Informatica PowerExchange for HBase 10.2.2ユーザーガイド』を参照してください。
PowerExchange for HDFS
バージョン10.2.2では、PowerExchange for HDFSに次の新機能が追加されました。
- •複合型ファイルデータオブジェクトの作成時、オペレーティングシステムのプロファイルを選択すると、Hadoopクラスタからメタデータをインポートしてプレビューする際、セキュリティが向上し、設計時ユーザー環境が分離されます。
注: オペレーティングシステムのプロファイルは、メタデータアクセスサービスでオペレーティングシステムのプロファイルを使用するよう設定されている場合に選択できます。メタデータアクセスサービスは、ユーザーに割り当てられたデフォルトのオペレーティングシステムのプロファイルを使用してメタデータをインポートします。オペレーティングシステムのプロファイルは、使用可能なオペレーティングシステムのプロファイルのリストから変更できます。
- •ネイティブ環境またはSparkエンジンでマッピングを実行して複合型ファイルデータオブジェクトからデータを読み取る際、ソースディレクトリ名やソースファイル名を指定するのにワイルドカード文字が使用できます。
以下のワイルドカード文字を使用することができます。
- ? (疑問符)
- 疑問符の文字(?)のところには、任意の文字が1回出現します。
- *(アスタリスク)
- アスタリスクマークの文字(*)のところには、任意の文字が0回または2回以上出現します。
- •複合型ファイルオブジェクトは、マッピングでの動的ソースおよびターゲットとして使用できます。
- •複合型ファイルオブジェクトは、複合ファイルシステムのデータの読み取りとデータの書き込みに使用できます。
- •ネイティブ環境またはSparkエンジンでマッピングを実行して複合型ファイルデータオブジェクトにデータを書き込む際、ターゲットデータの上書きができます。データ統合サービスでは、新しいデータを書き込む前にターゲットデータが削除されます。
- •データオブジェクト読み取り/書き込み操作を作成する際、FileNameポートに存在しエンドポイント名とファイルのソースパスを含むデータの読み取りができます。
- •データオブジェクト操作は、データオブジェクト読み取り/書き込み操作を作成するとすぐに表示できます。
- •データオブジェクト読み取り/書き込み操作を作成する際には、新しいカラムの追加やカラムの変更ができます。
- •Avro、JSON、ORC、またはParquetの各ファイルに対する読み取り/書き込みの場合は、ソーストランスフォーメーションやターゲットトランスフォーメーションなどのトランスフォーメーションのカラムをコピーして、データオブジェクト読み取り/書き込み操作のカラムに直接貼り付けることができます。
詳細については、『Informatica PowerExchange for HDFS 10.2.2ユーザーガイド』を参照してください。
PowerExchange for Hive
バージョン10.2.2では、PowerExchange for Hiveに次の新機能が追加されました。
- •次のターゲットスキーマストラテジオプションをHiveターゲットに設定できます。
- - RETAIN - 既存のターゲットスキーマを維持
- - CREATE - 実行時にテーブルを作成または置換
- - APPLYNEWCOLUMNS - テーブルを変更し新しいカラムのみを適用
- - APPLYNEWSCHEMA - テーブルを変更し新しいスキーマを適用
- - FAIL - ターゲットスキーマが異なるとマッピングは失敗する
- - パラメータの割り当て
- •データを読み込む前に、内部でも外部でも、パーティション化されたHiveターゲットを切り詰めることができます。このオプションは、Hadoop環境でマッピングを実行する際に適用されます。
- •Hiveがネイティブモードであれば、読み取りトランスフォーメーションを作成してHiveソースからデータを読み取ったり、書き込みトランスフォーメーションを作成してHiveターゲットにデータを書き込んだりできます。
- •Hiveターゲットにデータを書き込む場合、Hive接続で次のプロパティを設定できます。
- - HDFS上のHiveステージングディレクトリ。Hiveステージングテーブル用のHDFSディレクトリのことです。このオプションは、ネイティブ環境でHiveターゲットにデータを書き込む際に適用され、かつ必須です。
- - Hiveステージングデータベース名。Hiveステージングテーブル用の名前空間のことです。このオプションは、Hiveターゲットにデータを書き込むためにネイティブ環境でマッピングを実行する際に適用できます。BlazeまたはSparkエンジンでマッピングを実行する場合、Hive接続でHiveステージングデータベース名を設定する必要はありません。データ統合サービスは、Hadoop接続で設定された値を使用します。
詳細については、『Informatica PowerExchange for Hive 10.2.2ユーザーガイド』を参照してください。
PowerExchange for MapR-DB
バージョン10.2.2では、MapR-DBのHBaseデータオブジェクトの作成時、オペレーティングシステムのプロファイルを選択すると、Hadoopクラスタからメタデータをインポートしてプレビューする際、セキュリティが向上し、設計時ユーザー環境が分離されます。
注: オペレーティングシステムのプロファイルは、メタデータアクセスサービスでオペレーティングシステムのプロファイルを使用するよう設定されている場合に選択できます。メタデータアクセスサービスは、ユーザーに割り当てられたデフォルトのオペレーティングシステムのプロファイルを使用してメタデータをインポートします。オペレーティングシステムのプロファイルは、使用可能なオペレーティングシステムのプロファイルのリストから変更できます。
詳細については、『Informatica PowerExchange for MapR-DB 10.2.2ユーザーガイド』を参照してください。
PowerExchange for Microsoft Azure Blob Storage
バージョン10.2.2では、PowerExchange for Microsoft Azure Blob Storageに次の新機能が搭載されています。
- •Azure Databricks環境でマッピングを実行できます。
- •米国政府のMicrosoft Azureエンドポイントを設定できます。
- •Microsoft Azure Blob Storageのデータの読み取りおよび書き込みの際、データは次の形式で圧縮できます。
- - None
- - Deflate
- - Gzip
- - Bzip2
- - Lzo
- - Snappy
- •Microsoft Azure BLOB Storageオブジェクトは、マッピングの動的ソースおよびターゲットとして使用できます。
- •データ統合サービスのデータ読み取り元のファイルの名前は、ネイティブ環境では実行時に読み取ることができます。
- •詳細ソースプロパティと詳細ターゲットプロパティでは、[Blobコンテナのオーバーライド]で相対パスを設定できます。
詳細については、『Informatica PowerExchange for Microsoft Azure Blob Storage 10.2.2ユーザーガイド』を参照してください。
PowerExchange for Microsoft Azure Cosmos DB SQL API
バージョン10.2.2では、PowerExchange for Microsoft Azure Cosmos DB SQL APIに次の新機能が搭載されました。
- •Azure Databricks環境でマッピングを実行できます。PowerExchange for Microsoft Azure Cosmos DB SQL APIのDatabricksサポートがテクニカルプレビューで利用できます。テクニカルプレビュー機能はサポートされていますが、保証対象外で本番環境には対応していません。これらの機能は、非本番環境でのみ使用することをお勧めします。
詳細については、『Informatica PowerExchange for Microsoft Azure Cosmos DB SQL API 10.2.2ユーザーガイド』を参照してください。
PowerExchange for Microsoft Azure Data Lake Store
バージョン10.2.2では、PowerExchange for Microsoft Azure Data Lake Storeに次の新機能が搭載されました。
- •Azure Databricks環境でマッピングを実行できます。
- •Hadoop環境で実行されるマッピングで、配列、構造体、マップなどの複合データ型を使用できます。複合データ型を使用すると、Sparkエンジンは、Avro、JSON、およびParquetの複合型ファイル内の階層データに対して直接読み取り、処理、および書き込みを行います。インテリジェント構造のソースについては、読み取り操作のみ設定できます。
- •プリミティブデータ型のみを含むAvroファイルおよびParquetファイルの読み取りおよび書き込みのためのマッピングは、ネイティブ環境で作成できます。
- •ディレクトリから複数のファイルを読み取るためのマッピングでは、ディレクトリをソースとして選択できます。
- •Microsoft Azure Data Lake Storeオブジェクトは、マッピングの動的ソースおよびターゲットとして使用できます。
- •Microsoft Azure Data Lake Storeターゲットは、[ターゲットの作成]オプションを使用して作成できます。
詳細については、『Informatica PowerExchange for Microsoft Azure Data Lake Store 10.2.2ユーザーガイド』を参照してください。
PowerExchange for Microsoft Azure SQL Data Warehouse
バージョン10.2.2では、PowerExchange for Microsoft Azure SQL Data Warehouseに次の新機能が搭載されました。
- •Azure Databricks環境でマッピングを実行できます。
- •ネイティブ環境およびSparkエンジンで実行されるマッピングで、米国政府のMicrosoft Azureエンドポイントを設定できます。
- •Microsoft Azure Blob Storageコンテナにエラーファイルを生成できます。エラーファイルには、拒否された行と拒否理由が記載されます。
- •ネイティブ環境の詳細ターゲットプロパティでバッチサイズを定義できます。
- •プッシュダウン完全最適化を設定すると、ソースデータベースおよびターゲットデータベースにトランスフォーメーションロジックをプッシュできます。データベースリソースを使用してタスクのパフォーマンスを向上させるには、プッシュダウンの最適化を使用します。
- •Microsoft Azure SQL Data Warehouseオブジェクトは、マッピングの動的ソースおよびターゲットとして使用できます。
PowerExchange for Microsoft Azure SQL Data Warehouseのプッシュダウン完全最適化と動的マッピング機能は、テクニカルプレビューで利用できます。テクニカルプレビュー機能はサポートされていますが、保証対象外で本番環境には対応していません。これらの機能は、非本番環境でのみ使用することをお勧めします。
詳細については、『Informatica PowerExchange for Microsoft Azure SQL Data Warehouse 10.2.2ユーザーガイド』を参照してください。
PowerExchange for Salesforce
バージョン10.2.2では、PowerExchange for Salesforceに次の新機能が追加されました。
詳細については、『Informatica PowerExchange for Salesforce 10.2.2ユーザーガイド』を参照してください。
PowerExchange for Snowflake
バージョン10.2.2では、PowerExchange for Snowflakeに次の新機能が追加されました。
- •Okta SSO認証を設定するには、Snowflake接続のJDBC URLパラメータに認証情報を指定します。
- •SQLオーバーライドは、Snowflakeソースからデータを抽出するために使用されるデフォルトのSQLクエリをオーバーライドするよう設定できます。SQLオーバーライドはSnowflakeデータオブジェクト読み取り操作プロパティに指定します。
- •Snowflakeテーブルへ書き込む前にファイルの圧縮を選択すると、書き込みのパフォーマンスを最適化できます。詳細プロパティでは、Snowflakeデータオブジェクト書き込み操作詳細プロパティの[書き込みランタイム追加パラメータ]フィールドで、圧縮パラメータの[オン]または[オフ]を選択できます。
- •データ統合サービスでは、Snowflake Spark Connector APIを使用して、SparkエンジンでSnowflakeマッピングを実行できます。
- •AzureまたはAmazonのステージングデータで有効になっているSnowflakeに対してデータの読み取りおよび書き込みを行うことができます。
詳細については、『Informatica PowerExchange for Snowflake 10.2.2ユーザーガイド』を参照してください。
PowerExchange for Teradata Parallel Transporter API
バージョン10.2.2では、PowerExchange for Teradata Parallel Transporter APIで詳細ターゲットプロパティに次の機能が含まれるようになりました。
- •データをターゲットに読み込むとき、TeradataデータベースのサポートされないTeradataユニコード文字の代わりに使用する置換文字を指定できます。
- •データをTeradataターゲットに読み込むときにサポートされない文字の代わりに使用する文字を指定した場合、ターゲットTeradataデータベースはバージョン8.x~13.xも14.x以降も指定できます。この属性は置換文字属性と併せて使用します。データをTeradataターゲットに読み込むとき、置換文字を指定しなかった場合、データ統合サービスはこの属性を無視します。
- •データをTeradataに書き込む際、Teradataターゲットテーブルのスキーマとテーブルは実行時にオーバーライドできます。
詳細については、『Informatica PowerExchange for Teradata Parallel Transporter API 10.2.2ユーザーガイド』を参照してください。