Data Engineering Streaming
In diesem Abschnitt werden neue Data Engineering Streaming-Funktionen in Version 10.4.0 erläutert.
Konfluente Schemaregistrierung in Streaming-Zuordnungen
Ab Version 10.4.0 können Sie Confluent Kafka als Quellen und Ziele in Streaming-Zuordnungen verwenden, die die Schemaregistrierung nutzen.
Sie können Confluent Kafka zum Speichern und Abrufen von Apache Avro-Schemas in Streaming-Zuordnungen verwenden. Bei der Schemaregistrierung wird Kafka als zugrunde liegender Speichermechanismus verwendet.
Weitere Informationen finden Sie im Data Engineering Streaming 10.4.0-Benutzerhandbuch.
Datenqualitätsumwandlungen in Streaming-Zuordnungen
Ab Version 10.4.0 können Sie die Datenqualitätsumwandlungen in Streaming-Zuordnungen verwenden.
Sie können die folgenden Datenqualitätsumwandlungen in Streaming-Zuordnungen verwenden, um den Datenqualitätsvorgang auf die Streaming-Daten anzuwenden:
- •Adress-Validiererumwandlung
- •Klassifiziererumwandlung
- •Parser-Umwandlung
- •Standardisierer-Umwandlung
Weitere Informationen finden Sie im Data Engineering Streaming 10.4.0-Benutzerhandbuch.
Ephemeral-Cluster in Streaming-Zuordnungen
Ab Version 10.4.0 können Sie einen Arbeitsablauf ausführen, um einen Ephemeral-Cluster zu erstellen, der Zuordnungen und andere Aufgaben in einem Cloudplattform-Cluster ausführt.
Um den Datenprozess an der Stelle wieder aufzunehmen, an der ein Cluster gelöscht wurde, können Sie Streaming-Zuordnungen auf dem Ephemeral-Cluster ausführen, indem Sie einen externen Speicher und ein Prüfpunkt-Verzeichnis angeben.
Weitere Informationen finden Sie im Data Engineering Streaming 10.4.0-Benutzerhandbuch.
FileName-Port in Amazon S3
Ab Version 10.4.0 wird beim Erstellen eines Datenobjekt-Schreibvorgangs für Amazon S3-Dateien der FileName-Port automatisch angezeigt.
Zur Laufzeit erstellt der Datenintegrationsdienst getrennte Verzeichnisse für jeden Wert im FileName-Port und fügt die Zieldateien innerhalb der Verzeichnisse hinzu.
Weitere Informationen finden Sie im Data Engineering Streaming 10.4.0-Benutzerhandbuch.
Microsoft Azure Data Lake Storage Gen2
Ab Version 10.4.0 können Sie Microsoft Azure Data Lake Storage Gen2 als Ziel in Streaming-Zuordnungen verwenden.
Azure Data Lake Storage Gen2 basiert auf Azure Blob Storage. Azure Data Lake Storage Gen2 hat sowohl die Funktionen von Azure Data Lake Storage Gen1 als auch von Azure Blob Storage. Sie können Azure Databricks Version 5.4 oder Azure HDInsight Version 4.0 verwenden, um auf die in Azure Data Lake Storage Gen2 gespeicherten Daten zuzugreifen.
Weitere Informationen finden Sie im Data Engineering Streaming 10.4.0-Benutzerhandbuch.
Streaming-Zuordnungen in Azure Databricks
Ab Version 10.4.0 können Sie Streaming-Zuordnungen im Azure Databricks-Dienst in Microsoft Azure Cloud Services ausführen.
- Quellen und Ziele
Sie können Streaming-Zuordnungen mit den folgenden Quellen und Zielen innerhalb der Databricks-Umgebung ausführen:
- - Microsoft Azure Event Hubs
- - Azure Data Lake Storage Gen2 (ADLS Gen2)
- Umwandlungen
Sie können einer Databricks-Streaming-Zuordnung die folgenden Umwandlungen hinzufügen:
- - Aggregator
- - Ausdruck
- - Filter
- - Joiner
- - Normalisierer
- - Rang
- - Router
- - Union
- - Fenster
- Datentypen
- Folgende Datentypen werden unterstützt:
- - Array
- - Bigint
- - Datum/Uhrzeit
- - Dezimal
- - Doppelt
- - Ganzzahl
- - Map
- - Struct
- - Text
- - String
- Arbeitsabläufe
Sie können Cluster-Arbeitsabläufe entwickeln, um in der Databricks-Umgebung Ephemeral-Cluster zu erstellen. Verwenden Sie Azure Data Lake Storage Gen1 (ADLS Gen1) und Azure Data Lake Storage Gen2 (ADLS Gen2) zum Erstellen von Ephemeral-Clustern in der Databricks-Umgebung.
Weitere Informationen zu Streaming-Zuordnungen in Azure Databricks finden Sie im Data Engineering Streaming 10.4.0-Benutzerhandbuch.
Dynamische Zuordnungen in Data Engineering Streaming
Ab Version 10.4.0 ist Unterstützung für dynamische Zuordnungen in Data Engineering Streaming für die technische Vorschau verfügbar.
Sie können Confluent Kafka-Datenobjekte als dynamische Quellen und Ziele in einer Streaming-Zuordnung verwenden.
Die technische Vorschau wird ausschließlich und ohne Gewähr zu Prüfzwecken zur Verfügung gestellt. Sie wird in Produktionsumgebungen oder Umgebungen, die in Produktion gehen sollen, nicht unterstützt. Informatica beabsichtigt, die Vorschaufunktionen in kommenden Versionen für die Produktion bereitzustellen. Ob dies aber tatsächlich geschieht, hängt von verschiedenen marktbezogenen oder technischen Faktoren ab. Weitere Informationen erhalten Sie beim globalen Kundensupport von Informatica.