Big Data Streaming
In diesem Abschnitt werden die Änderungen an Big Data-Streaming in Version 10.2.1 beschrieben.
Konfiguration der Hadoop-Verteilung
Ab Version 10.2.1 konfigurieren Sie die Hadoop-Verteilung in den Eigenschaften der Clusterkonfiguration.
Die Eigenschaften "Distributionsname" und "Distributionsversion" werden beim Import einer Clusterkonfiguration aus dem Cluster gefüllt. Sie können die Distributionsversion bearbeiten, nachdem Sie den Importvorgang abgeschlossen haben.
Bisher wurde die Hadoop-Distribution durch den Pfad zum Distributionsverzeichnis auf der Maschine identifiziert, die den Datenintegrationsdienst hostet.
Weitere Informationen zu den Eigenschaften "Distributionsname" und "Distributionsversion" finden Sie im Informatica Big Data Management 10.2.1-Administrationshandbuch.
Developer-Tool-Konfiguration
Ab Version 10.2.1 können Sie einen Metadaten-Zugriffsdienst erstellen. Der Metadaten-Zugriffsdienst ist ein Anwendungsdienst, der es dem Developer Tool ermöglicht, auf Hadoop-Verbindungsinformationen zuzugreifen, um Metadaten zu importieren und anzuzeigen.
Die folgenden Quellen und Ziele verwenden den Metadaten-Zugriffsdienst zur Designzeit, um die Metadaten zu extrahieren:
- •HBase
- •HDFS
- •Hive
- •MapR-DB
- •MapRStreams
Bisher haben Sie die folgenden Schritte manuell auf jedem Developer-Tool-Clientcomputer ausgeführt, um die Kommunikation zwischen dem Developer-Tool-Computer und dem Hadoop-Cluster zur Designzeit herzustellen:
- •Extrahierte Clusterkonfigurationsdateien.
- •Die krb5.ini-Datei wurde zum Importieren von Metadaten aus Hive, HBase und komplexen Dateiquellen aus einem Kerberos-fähigen Hadoop-Cluster ausgeführt.
Der Metadaten-Zugriffsdienst macht es überflüssig, jeden Developer-Tool-Computer für die Konnektivität mit dem Hadoop-Cluster zu konfigurieren.
Weitere Informationen finden Sie im Kapitel "Metadaten-Zugriffsdienst" im Informatica 10.2.1 Anwendungsdienst-Handbuch.
Kafka-Verbindungseigenschaften
Mit der Version 10.2.1 wurden die Eigenschaften der Kafka-Verbindung geändert.
Sie können nun die Kafka-Brokerversion in den Verbindungseigenschaften konfigurieren.
Bisher haben Sie diese Eigenschaft in der Datei hadoopEnv.properties und der Datei hadoopRes.properties konfiguriert.
Weitere Informationen zur Kafka-Verbindung finden Sie im Kapitel "Verbindungen" im Informatica Big Data Streaming 10.2.1-Benutzerhandbuch.