What's New and Changed (10.5.7) > Teil XI: Versionen 10.2.2 - 10.2.2 HotFix 1 > Neue Funktionen in 10.2.2 > Big Data Streaming
  

Big Data Streaming

In diesem Abschnitt werden neue Big Data Streaming-Funktionen in Version 10.2.2 erläutert.

Azure Event Hubs-Datenobjekte

Ab Version 10.2.2 können Sie ein Streaming-Mapping mit Event Hub als Quelle in den folgenden Distributionen bereitstellen:

Kontenübergreifende IAM-Rolle in Amazon Kinesis-Verbindungen

Ab Version 10.2.2 können Sie die kontenübergreifende IAM-Rolle verwenden, um eine Amazon Kinesis-Quelle zu authentifizieren.
Die kontenübergreifende IAM-Rolle gibt Ihnen die Möglichkeit, Ressourcen in einem AWS-Konto gemeinsam mit Benutzern in einem anderen AWS-Konto zu verwenden, ohne in jedem Konto die entsprechenden Benutzer anlegen zu müssen.
Weitere Informationen finden Sie im Informatica Big Data Streaming 10.2.2-Benutzerhandbuch.

Intelligentes Strukturmodell

Ab Version 10.2.2 können Sie in Big Data Streaming intelligente Strukturmodelle verwenden.
Sie haben die Möglichkeit, ein intelligentes Strukturmodell in ein Kafka-, Kinesis- oder Azure Event Hubs-Datenobjekt einzubeziehen. Wenn Sie das Datenobjekt einem Mapping hinzufügen, können Sie alle Eingabetypen verarbeiten, die das Modell parsen kann.
Je nachdem, welche Datei Sie zum Erstellen des Modells verwendet haben, kann das Datenobjekt PDF-Formulare, JSON-, Microsoft Excel-, Microsoft Word-Tabellen-, CSV-, Text- oder XML-Eingabedateien akzeptieren und analysieren.
Weitere Informationen finden Sie im Informatica Big Data Streaming 10.2.2-Benutzerhandbuch.

Header-Ports für Big Data Streaming-Datenobjekte

Ab Version 10.2.2 enthalten einige Datenobjekte standardmäßige Header-Ports für die mit den Ereignissen verbundenen Metadaten. Der Zeitstempelport enthält beispielsweise die Uhrzeit, zu der das Ereignis erstellt wird. Sie können die Header-Ports verwenden, um die Daten zu gruppieren und zu verarbeiten.
Weitere Informationen zu den Header-Ports finden Sie im Informatica Big Data Streaming 10.2.2-Benutzerhandbuch.

AWS-Anmeldedatenprofile in Amazon Kinesis-Verbindungen

Ab Version 10.2.2 können Sie in Amazon Kinesis-Verbindungen eine auf AWS-Anmeldedatenprofilen basierende Authentifizierung verwenden.
Wenn Sie eine Amazon Kinesis-Verbindung erstellen, können Sie den Namen eines AWS-Anmeldedatenprofils eingeben. Das Mapping greift über den Profilnamen, der zur Laufzeit in der AWS-Anmeldedatendatei aufgelistet wird, auf die AWS-Anmeldedaten zu.
Weitere Informationen finden Sie im Informatica Big Data Streaming 10.2.2-Benutzerhandbuch.

Strukturiertes Spark-Streaming

Ab Version 10.2.2 nutzt Big Data Streaming zum Verarbeiten von Streaming-Daten Spark Structured Streaming.
Spark Structured Streaming ist eine skalierbare und fehlertolerante Open-Source-Stream-Verarbeitungs-Engine auf Basis der Spark-Engine. Sie ermöglicht den Umgang mit spät eintretenden Streaming-Ereignissen und die Verarbeitung von Streaming-Daten basierend auf dem Zeitstempel der Quelle.
Die Spark-Engine führt das Streaming-Mapping kontinuierlich aus. Sie liest die Daten, unterteilt die Daten in Mikro-Batches, verarbeitet die Mikro-Batches, veröffentlicht die Ergebnisse und schreibt dann in ein Ziel.
Weitere Informationen finden Sie im Informatica Big Data Streaming 10.2.2-Benutzerhandbuch.

Fensterumwandlung

Ab Version 10.2.2 können Sie beim Erstellen einer Fensterumwandlung die folgenden Funktionen verwenden:
Wasserzeichenverzögerung
Mit der Wasserzeichenverzögerung wird festgelegt, welche Schwellenwertzeit für ein verzögertes Ereignis in einer Datengruppe angesammelt werden kann.
Die Wasserzeichenverzögerung ist ein Schwellenwert, mit dem Sie die Dauer angeben, innerhalb der spät eintreffende Daten gruppiert und verarbeitet werden können. Wenn Ereignisdaten innerhalb der Schwellenwertzeit eintreffen, werden die Daten verarbeitet und dann in der entsprechenden Datengruppe gesammelt.
Fensterport
Über den Fensterport wird die Spalte für die Aufnahme der Zeitstempelwerte festgelegt, auf deren Basis Sie die Ereignisse gruppieren können. Die angesammelten Daten enthalten den Zeitstempelwert. Nutzen Sie die Fensterport-Spalte zum Gruppieren der spät eintreffenden Ereigniszeitdaten.
Weitere Informationen finden Sie im Informatica Big Data Streaming 10.2.2-Benutzerhandbuch.