PowerExchange-Adapter für Informatica

PowerExchange for Amazon Redshift

• •Für die folgenden Regionen können Lese- und Schreibvorgänge durchgeführt werden:
• - China (Ningxia)
• - EU (Paris)
• •Sie können Amazon Redshift-Objekte in einem Mapping als dynamische Quellen und Ziele einsetzen.
• •Sie können Oktalwerte von druckbaren und nicht druckbaren ASCII-Zeichen als DELIMITER oder QUOTE verwenden.
• •Sie können Pre-SQL- und Post-SQL-Befehle eingeben, um Abfragen für Quell- und Zielobjekte in einem Mapping auszuführen.
• •Sie können eine SQL-Abfrage für Lese-Datenobjekte in einem Mapping definieren, um die Standardabfrage zu überschreiben. Sie können eine SQL-Anweisung eingeben, die von der Amazon Redshift-Datenbank unterstützt wird.
• •Wenn Sie große Amazon S3-Objekte in mehreren Teilen herunterladen, können Sie die maximale Größe eines Amazon S3-Objekts angeben.
• •Beim Lesen von Daten aus einer Amazon Redshift-Quelle können Sie eindeutige Werte lesen.
• •Wenn Sie ein Objekt in Amazon S3 hochladen, können Sie die Mindestgröße des Objekts angeben und die Zahl der Threads festlegen, um das Objekt parallel als Set von unabhängigen Teilen hochzuladen.
• •Sie können wahlweise eine vorhandene Zieltabelle beibehalten, eine Zieltabelle zur Laufzeit ersetzen oder eine neue Zieltabelle erstellen, wenn die Tabelle im Ziel nicht vorhanden ist.
• •Sie können die Updatestrategie-Umwandlungen für ein Amazon Redshift-Ziel in der nativen Umgebung konfigurieren.
• •Beim Schreiben von Daten in Amazon Redshift können Sie das Amazon Redshift-Zieltabellenschema und den Tabellennamen zur Laufzeit überschreiben.
• •Beim Verbindungstyp ODBC kann der Datenintegrationsdienst die Umwandlungslogik mit quellseitiger oder vollständiger Pushdown-Optimierung zu Amazon Redshift-Quellen und -Zielen verschieben.
• •Sie können serverseitige Verschlüsselung mit AWS KMS (AWS Key Management Service) bei Amazon EMR in Version 5.16 sowie Cloudera CDH in Version 5.15 und 5.16 verwenden.
• •PowerExchange for Amazon Redshift unterstützt das AWS SDK für Java in Version 1.11.354.

PowerExchange for Amazon S3

• •Für die folgenden Regionen können Lese- und Schreibvorgänge durchgeführt werden:
• - China (Ningxia)
• - EU (Paris)
• - AWS GovCloud (USA)
• •Sie können Amazon S3-Objekte in einem Mapping als dynamische Quellen und Ziele einsetzen.
• •Wenn Sie ein Mapping in der nativen Umgebung oder auf der Spark-Engine ausführen, um Daten aus einer Avro-, Einfach-, JSON-, ORC- oder Parquet-Datei zu lesen, können Sie beim Angeben des Quellverzeichnis- bzw. Quelldateinamens Platzhalterzeichen verwenden.
• •Sie können den im Amazon S3-Bucket gespeicherten Objekten ein oder mehrere Tags hinzufügen, um die Objekte zu kategorisieren. Jedes Tag enthält ein Schlüssel-Wert-Paar. Sie können entweder die Schlüssel-Wert-Paare eintragen oder den absoluten Dateipfad angeben, der die Schlüssel-Wert-Paare enthält.
• •Sie können den maximalen Schwellenwert zum Herunterladen eines Amazon S3-Objekts in mehreren Teilen festlegen.
• •Wenn Sie ein Objekt in Amazon S3 hochladen, können Sie die Mindestgröße des Objekts angeben und die Zahl der Threads festlegen, um das Objekt parallel als Set von unabhängigen Teilen hochzuladen.
• •Wenn Sie einen Lese- oder Schreibvorgang für ein Datenobjekt erstellen, können Sie vorhandene Daten im FileName-Port lesen, der den Endpunktnamen und Quellpfad der Datei enthält.
• •Beim Erstellen eines Lese- oder Schreibvorgangs für ein Datenobjekt haben Sie direkt auf der Port-Registerkarte die Möglichkeit, neue Spalten hinzuzufügen oder die Spalten zu verändern.
• •Beim Erstellen eines Mappings zum Lesen oder Schreiben einer Avro-, JSON-, ORC- oder Parquet-Datei können Sie die Spalten der Quellumwandlungen, Zielumwandlungen oder anderer Umwandlungen aus der Port-Registerkarte kopieren und diese Spalten dann direkt in die Lese- oder Schreiboperation für ein Datenobjekt einfügen.
• •Sie können das Amazon S3-Dateiformat aktualisieren, ohne die Spaltenmetadaten im Schema-Feld der Spaltenprojektionseigenschaften zu verlieren – selbst nach dem Konfigurieren der Spaltenprojektionseigenschaften für ein anderes Amazon S3-Dateiformat.
• •Sie können serverseitige Verschlüsselung mit AWS KMS (AWS Key Management Service) bei Amazon EMR in Version 5.16 sowie Cloudera CDH in Version 5.15 und 5.16 verwenden.
• •PowerExchange for Amazon S3 unterstützt das AWS SDK für Java in Version 1.11.354.

PowerExchange for Google BigQuery

PowerExchange for HBase

• •Wenn Sie ein HBase-Datenobjekt erstellen, können Sie ein Betriebssystemprofil auswählen, um die Sicherheit zu erhöhen und die Entwurfszeit-Benutzerumgebung beim Importieren und Anzeigen einer Vorschau von Metadaten aus einem Hadoop-Cluster zu isolieren.
HINWEIS: Sie können ein Betriebssystemprofil wählen, wenn der Metadaten-Zugriffsdienst für die Verwendung von Betriebssystemprofilen konfiguriert ist. Der Metadaten-Zugriffsdienst importiert die Metadaten mit dem Betriebssystemprofil, das dem Benutzer standardmäßig zugewiesen ist. Sie können das Betriebssystemprofil in der Liste der verfügbaren Betriebssystemprofile ändern.
• •Sie können die HBase-Objekte als dynamische Quellen und Ziele in einem Mapping verwenden.
• •Sie können ein Mapping für die Spark-Engine ausführen, um Daten in einer HBase-Ressource nachzuschlagen.

PowerExchange for HDFS

• •Wenn Sie ein komplexes Dateidatenobjekt erstellen, können Sie ein Betriebssystemprofil auswählen, um die Sicherheit zu erhöhen und die Entwurfszeit-Benutzerumgebung beim Importieren und Anzeigen einer Vorschau von Metadaten aus einem Hadoop-Cluster zu isolieren.
HINWEIS: Sie können ein Betriebssystemprofil wählen, wenn der Metadaten-Zugriffsdienst für die Verwendung von Betriebssystemprofilen konfiguriert ist. Der Metadaten-Zugriffsdienst importiert die Metadaten mit dem Betriebssystemprofil, das dem Benutzer standardmäßig zugewiesen ist. Sie können das Betriebssystemprofil in der Liste der verfügbaren Betriebssystemprofile ändern.
• •Wenn Sie ein Mapping in der nativen Umgebung oder auf der Spark-Engine ausführen, um Daten aus einem komplexen Dateidatenobjekt zu lesen, können Sie beim Angeben des Quellverzeichnis- bzw. Quelldateinamens Platzhalterzeichen verwenden.
Sie können die folgenden Platzhalterzeichen einsetzen:

? (Fragezeichen)

Das Fragezeichen (?) ermöglicht ein Vorkommen eines beliebigen Zeichens.

* (Sternchen)

Das Sternchen (*) ermöglicht null oder mehrere Vorkommen eines beliebigen Zeichens.

• •Sie können komplexe Dateiobjekte als dynamische Quellen und Ziele in einem Mapping verwenden.
• •Sie können komplexe Dateiobjekte verwenden, um Daten aus einem komplexen Dateisystem zu lesen oder in ein komplexes Dateisystem zu schreiben.
• •Wenn Sie ein Mapping in der nativen Umgebung oder auf der Spark-Engine ausführen, um Daten in ein komplexes Dateidatenobjekt zu schreiben, können Sie Zieldaten überschreiben. Der Datenintegrationsdienst löscht die Zieldaten vor dem Schreiben neuer Daten.
• •Wenn Sie eine Lese- oder Schreiboperation für ein Datenobjekt erstellen, können Sie die vorhandenen Daten im FileName-Port lesen, der den Endpunktnamen und Quellpfad der Datei enthält.
• •Sie können die Datenobjektvorgänge jetzt unmittelbar nach dem Erstellen des Lese- oder Schreibvorgangs für ein Datenobjekt anzeigen.
• •Beim Erstellen eines Lese- oder Schreibvorgangs für ein Datenobjekt haben Sie die Möglichkeit, neue Spalten hinzuzufügen oder die Spalten zu verändern.
• •Beim Lesen oder Schreiben in eine Avro-, JSON-, ORC- oder Parquet-Datei können Sie die Spalten der Quellumwandlungen, Zielumwandlungen oder anderer Umwandlungen kopieren und diese Spalten dann direkt in den Lese- oder Schreibvorgang für ein Datenobjekt einfügen.

PowerExchange for Hive

• •Für ein Hive-Ziel können Sie die folgenden Zielschemastrategie-Optionen konfigurieren:
• - RETAIN – vorhandenes Zielschema beibehalten
• - CREATE – Tabelle zur Laufzeit erstellen oder ersetzen
• - APPLYNEWCOLUMNS – Tabelle ändern und nur neue Spalten anwenden
• - APPLYNEWSCHEMA – Tabelle ändern und neues Schema anwenden
• - FAIL – fehlerhaftes Mapping, wenn das Zielschema abweicht
• - Parameter zuweisen
• •Vor dem Laden von Daten können Sie ein internes oder externes partitioniertes Hive-Ziel trunkieren. Diese Option ist relevant, wenn Sie das Mapping in der Hadoop-Umgebung ausführen.
• •Sie können eine Lese- oder Schreibumwandlung für Hive im nativen Modus erstellen, um Daten aus einer Hive-Quelle zu lesen oder Daten in ein Hive-Ziel zu schreiben.
• •Wenn Sie Daten in ein Hive-Ziel schreiben, können Sie für eine Hive-Verbindung die folgenden Eigenschaften konfigurieren:
• - Hive-Staging-Verzeichnis auf HDFS. Dies steht für das HDFS-Verzeichnis für Hive-Staging-Tabellen. Die Option ist relevant und erforderlich, wenn Sie Daten in ein Hive-Ziel in der nativen Umgebung schreiben.
• - Name der Hive-Staging-Datenbank. Dies steht für Namespace für Hive-Staging-Tabellen. Diese Option ist relevant, wenn Sie Mappings in der nativen Umgebung ausführen, um Daten in ein Hive-Ziel zu schreiben. Wenn Sie Mappings auf der Blaze- oder Spark-Engine ausführen, ist es nicht erforderlich, den Namen der Hive-Staging-Datenbank in der Hive-Verbindung zu konfigurieren. Der Datenintegrationsdienst verwendet den Wert, den Sie in der Hadoop-Verbindung konfigurieren.

PowerExchange for MapR-DB

PowerExchange for Microsoft Azure Blob Storage

• •Sie können Mappings in der Azure Databricks-Umgebung ausführen.
• •Sie können die Microsoft Azure-Endpunkte „US Government“ in Mappings konfigurieren.
• •Sie können Daten beim Lesen von Daten aus sowie beim Schreiben von Daten in Microsoft Azure Blob Storage in den folgenden Formaten komprimieren:
• - None
• - Deflate
• - Gzip
• - Bzip2
• - Lzo
• - Snappy
• •Sie können Microsoft Azure Blob Storage-Objekte als dynamische Quellen und Ziele in einem Mapping verwenden.
• •Sie können zur Laufzeit in der nativen Umgebung den Namen der Datei lesen, aus der der Datenintegrationsdienst die Daten liest.
• •Sie können in den erweiterten Quell- und Zieleigenschaften den relativen Pfad in Blob-Container-Überschreibung konfigurieren.

PowerExchange for Microsoft Azure Cosmos DB SQL API

• •Sie können Mappings in der Azure Databricks-Umgebung ausführen. Databricks-Unterstützung für PowerExchange for Microsoft Azure Cosmos DB SQL API steht bei der technischen Vorschau zur Verfügung. Funktionen für die technische Vorschau sind noch nicht produktionsreif und werden daher zwar unterstützt, aber nicht garantiert. Informatica empfiehlt, diese Funktionen nur in Nichtproduktionsumgebungen zu verwenden.

PowerExchange for Microsoft Azure Data Lake Store

• •Sie können Mappings in der Azure Databricks-Umgebung ausführen.
• •Sie können komplexe Datentypen wie array, struct und map in Mappings verwenden, die in der Hadoop-Umgebung ausgeführt werden. Bei komplexen Datentypen liest, verarbeitet und schreibt die jeweilige Engine hierarchische Daten direkt in komplexe Avro-, JSON- und Parquet-Dateien. Bei einer intelligent strukturierten Quelle können Sie nur den Lesevorgang konfigurieren.
• •Sie können Mappings zum Lesen und Schreiben von Avro- und Parquet-Dateien erstellen, die nur primitive Datentypen in der nativen Umgebung enthalten.
• •Sie können ein Verzeichnis in einem Mapping als Quelle auswählen, um mehrere Dateien aus dem Verzeichnis zu lesen.
• •Sie können Microsoft Azure Data Lake Store-Objekte als dynamische Quellen und Ziele in einem Mapping verwenden.
• •Sie können mit der Option „Ziel erstellen“ ein Microsoft Azure Data Lake Store-Ziel erstellen.

PowerExchange for Microsoft Azure SQL Data Warehouse

• •Sie können Mappings in der Azure Databricks-Umgebung ausführen.
• •Sie können die Microsoft Azure-Endpunkte „US Government“ in Mappings konfigurieren, die in der nativen Umgebung und auf der Spark-Engine ausgeführt werden.
• •Sie können Fehlerdateien im Microsoft Azure Blob Storage-Container generieren. Die Fehlerdateien enthalten abgelehnte Zeilen und die Ursache für diese abgelehnten Zeilen.
• •Sie können die Batch-Größe in den erweiterten Zieleigenschaften in der nativen Umgebung festlegen.
• •Sie können vollständige Pushdown-Optimierung konfigurieren, um die Umwandlungslogik in Quell- und Zieldatenbanken zu verschieben. Verwenden Sie die Pushdown-Optimierung, um durch Nutzung der Datenbankressourcen die Aufgabenleistung zu verbessern.
• •Sie können Microsoft Azure SQL Data Warehouse-Objekte als dynamische Quellen und Ziele in einem Mapping verwenden.

PowerExchange for Salesforce

• •Sie können unter Verwendung von Version 43.0 und 44.0 der Salesforce-API eine Salesforce-Verbindung aufbauen und auf Salesforce-Objekte zugreifen.
• •Sie können OAuth für Salesforce-Verbindungen konfigurieren.
• •Sie können den nativen Ausdrucksfilter für die den Quelldatenobjektvorgang konfigurieren.
• • Sie können die folgenden Lesevorgangseigenschaften für ein Salesforce-Datenobjekt parametrisieren:
• - SOQL-Filterbedingung
• - CDC-Start-Zeitstempel
• - CDC-Ende-Zeitstempel
• - PK-Segmentgröße
• - Startzeilen-ID PK-Segmentgröße
Sie können die folgenden Schreibvorgangseigenschaften für ein Salesforce-Datenobjekt parametrisieren:
• - Präfix für BULK-Erfolgs- und -Fehlerdateien festlegen
• - SFDC-Erfolgsdateiverzeichnis
• - Speicherort der BULK-Fehlerdateien festlegen

PowerExchange for Snowflake

• •Sie können eine Okta-SSO-Authentifizierung konfigurieren, indem Sie die Authentifizierungsdetails in den JDBC-URL-Parametern der Snowflake-Verbindung festlegen.
• •Sie können ein SQL-Override konfigurieren, um die zum Extrahieren von Daten aus der Snowflake-Quelle verwendete Standard-SQL-Abfrage zu überschreiben. Die Festlegung des SQL-Overrides erfolgt in den Eigenschaften des Lesevorgangs für das Snowflake-Datenobjekt.
• •Sie haben die Möglichkeit, die Dateien vor dem Schreiben in Snowflake-Tabellen zu komprimieren und die Schreibleistung zu optimieren. Dazu dienen die erweiterten Eigenschaften. In den erweiterten Eigenschaften des Schreibvorgangs für das Snowflake-Datenobjekt können Sie im Feld für die zusätzlichen Schreibparameter zur Laufzeit den Kompressionsparameter ein- bzw. ausschalten.
• •Der Datenintegrationsdienst verwendet die Snowflake Spark Connector-APIs, um Snowflake-Mappings auf der Spark-Engine auszuführen.
• •Sie können Daten aus Snowflake lesen und Daten in Snowflake schreiben, die für das Staging von Daten in Azure oder Amazon aktiviert sind.

PowerExchange for Teradata Parallel Transporter API

• •Sie können ein Ersatzzeichen angeben, das in der Teradata-Datenbank beim Laden von Daten in Ziele anstelle eines nicht unterstützten Teradata-Unicode-Zeichens verwendet wird.
• •Wenn Sie für das Laden von Daten in Teradata-Ziele ein Zeichen angegeben haben, das statt eines nicht unterstützten Zeichens verwendet werden soll, können Sie für die Teradata-Zieldatenbank wahlweise Version 8.x bis 13.x oder 14.x und höher festlegen. Verwenden Sie dieses Attribut in Kombination mit dem Ersatzzeichen-Attribut. Der Datenintegrationsdienst ignoriert dieses Attribut, wenn Sie im Zuge des Ladens von Daten in Teradata-Ziele kein Ersatzzeichen angegeben haben.
• •Beim Schreiben von Daten in Teradata können Sie das Teradata-Zieltabellenschema und den Tabellennamen zur Laufzeit überschreiben.