Gitter für Jobs, die im Remotemodus ausgeführt werden

Master-Dienstprozess

Wenn Sie einen in einem Gitter ausgeführten Datenintegrationsdienst aktivieren, wird auf jedem Knoten mit der Dienstrolle im Gitter ein Dienstprozess gestartet. Der Datenintegrationsdienst legt einen Dienstprozess als Master-Dienstprozess fest. Der Master-Dienstprozess verwaltet Anwendungsbereitstellungen, die Protokollierung, Jobanfragen und den Versand von Mappings an Worker-Dienstprozesse zur Optimierung und Kompilierung. Außerdem fungiert der Master-Dienstprozess auch als Worker-Dienstprozess und kann Mappings optimieren und kompilieren.

Worker-Dienstprozesse

Der Datenintegrationsdienst legt die verbleibenden Dienstprozesse als Worker-Dienstprozesse fest. Wenn ein Worker-Dienstprozess startet, registriert er sich selbst beim Master-Dienstprozess, sodass der Master den Worker zur Kenntnis nimmt. Ein Worker-Dienstprozess optimiert und kompiliert Mappings und generiert dann eine Gitteraufgabe. Eine Gitteraufgabe ist eine Jobanfrage, die vom Worker-Dienstprozess an den Dienstmanager auf dem Masterrechenknoten gesendet wird.

Dienstmanager auf dem Masterrechenknoten

Wenn Sie einen Datenintegrationsdienst aktivieren, der in einem Gitter ausgeführt wird, legt dieser einen Knoten mit der Berechnungsrolle als Masterrechenknoten fest.

Der Dienstmanager auf dem Masterrechenknoten führt folgende Funktionen durch, um den optimalen Worker-Rechenknoten zur Ausführung des Mappings zu bestimmen:

• - Kommunikation mit dem Ressourcenmanager-Dienst, um das Gitter der verfügbaren Rechenknoten zu verwalten. Wenn der Dienstmanager auf einem Knoten mit der Berechnungsrolle startet, registriert er den Knoten beim Ressourcenmanager-Dienst.
• - Steuerung von Worker-Dienstprozessanfragen und Versand von Mappings an Worker-Rechenknoten.

Der Masterrechenknoten fungiert auch als Worker-Knoten und kann Mappings ausführen.

DTM-Prozesse auf Worker-Rechenknoten

Der Datenintegrationsdienst legt die verbleibenden Knoten mit der Berechnungsrolle als Worker-Rechenknoten fest. Der Dienstmanager auf einem Worker-Rechenknoten führt Mappings in separaten DTM-Prozessen aus, die in Containern gestartet wurden.

Unterstützte Knotenrollen

Dienstrolle

Ein Datenintegrationsdienst-Prozess wird auf jedem Knoten mit der Dienstrolle ausgeführt. Dienstkomponenten innerhalb des Datenintegrationsdienst-Prozesses führen Arbeitsabläufe und Profile aus. Zudem optimieren und kompilieren sie Mappings.

Berechnungsrolle

DTM-Prozesse werden auf jedem Knoten mit der Berechnungsrolle ausgeführt. Die DTM-Prozesse führen bereitgestellte Mappings, von Mapping-Aufgaben innerhalb eines Arbeitsablaufs ausgeführte Mappings und aus einem Profil umgewandelte Mappings aus.

Dienst- und Berechnungsrollen

Auf jedem Knoten, der sowohl über die Dienst- als auch über die Berechnungsrolle verfügt, werden ein Datenintegrationsdienst-Prozess und DTM-Prozesse ausgeführt. Mindestens ein Knoten mit sowohl der Dienst- als auch der Berechnungsrolle ist zur Ausführung von Ad-hoc-Jobs mit Ausnahme von Profilen erforderlich. Zu Ad-hoc-Jobs zählen Mappings, die im Developer Tool ausgeführt werden, bzw. Vorschauen, Scorecards oder Drilldowns von Profilergebnissen, die im Developer Tool oder im Analyst Tool ausgeführt werden. Der Datenintegrationsdienst führt diese Jobtypen in separaten DTM-Prozessen auf dem lokalen Knoten aus.

Darüber hinaus können Knoten mit beiden Rollen sämtliche Aufgaben durchführen, die ein Knoten mit nur der Dienstrolle oder ein Knoten mit nur der Berechnungsrolle durchführen kann. Ein Arbeitsablauf kann beispielsweise auf einem Knoten mit nur der Dienstrolle oder auf einem Knoten mit sowohl der Dienst- als auch mit der Berechnungsrolle ausgeführt werden. Ein bereitgestelltes Mapping kann auf einem Knoten mit nur der Berechnungsrolle oder auf einem Knoten mit sowohl der Dienst- als auch mit der Berechnungsrolle ausgeführt werden.

Jobtypen

Arbeitsabläufe

Wenn Sie eine Arbeitsablaufinstanz ausführen, führt der Master-Dienstprozess die Arbeitsablaufinstanz und Nicht-Mapping-Aufgaben aus. Der Master-Dienstprozess verwendet Round-Robin, um jedes Mapping in einer Mapping-Aufgabe an einen Worker-Dienstprozess zu senden. Die LDTM-Komponente des Worker-Dienstprozesses optimiert und kompiliert das Mapping. Der Worker-Dienstprozess kommuniziert dann mit dem Masterrechenknoten, um das kompilierte Mapping an einen separaten DTM-Prozess zu senden, der auf einem Worker-Rechenknoten ausgeführt wird.

Bereitgestellte Mappings

Wenn Sie ein bereitgestelltes Mapping ausführen, verwendet der Master-Dienstprozess Round-Robin, um jedes Mapping an einen Worker-Dienstprozess zu senden. Die LDTM-Komponente des Worker-Dienstprozesses optimiert und kompiliert das Mapping. Der Worker-Dienstprozess kommuniziert dann mit dem Masterrechenknoten, um das kompilierte Mapping an einen separaten DTM-Prozess zu senden, der auf einem Worker-Rechenknoten ausgeführt wird.

Profile

Wenn Sie ein Profil ausführen, wandelt der Master-Dienstprozess den Profiling-Job basierend auf den erweiterten Profiling-Eigenschaften des Datenintegrationsdiensts in mehrere Mapping-Jobs um. Der Master-Dienstprozess verteilt die Mappings dann auf die Worker-Dienstprozesse. Die LDTM-Komponente des Worker-Dienstprozesses optimiert und kompiliert das Mapping. Der Worker-Dienstprozess kommuniziert dann mit dem Masterrechenknoten, um das kompilierte Mapping an einen separaten DTM-Prozess zu senden, der auf einem Worker-Rechenknoten ausgeführt wird.

Ad-hoc-Jobs mit Ausnahme von Profilen

Wenn Sie einen Ad-hoc-Job mit Ausnahme von Profilen ausführen, verwendet der Datenintegrationsdienst Round-Robin, um die erste Anfrage direkt an einen Worker-Dienstprozess zu senden, der auf einem Knoten ausgeführt wird und sowohl über die Dienst- als auch über die Berechnungsrolle verfügt. Der Worker-Dienstprozess führt den Job in einem separaten DTM-Prozess auf dem lokalen Knoten aus. Der Datenintegrationsdienst umgeht den Master-Dienstprozess, um einen schnelleren Durchsatz sicherzustellen. Wenn Sie über dieselbe Anmeldung zusätzliche Ad-hoc-Jobs ausführen, sendet der Datenintegrationsdienst die Anfragen an denselben Worker-Dienstprozess.

Beispielgitter, das Jobs im Remotemodus ausführt

• •Auf „Node1“ führt der Master-Dienstprozess die Arbeitsablaufinstanz und Nicht-Mapping-Aufgaben aus. Der Master-Dienstprozess sendet ein in einer Mapping-Aufgabe enthaltenes Mapping aus dem ersten Arbeitsablauf, „workflow1“, an den Worker-Dienstprozess auf „Node2“. Außerdem fungiert der Master-Dienstprozess auch als Worker-Dienstprozess und kann Mappings optimieren und kompilieren. Profiljobs können auch auf „Node1“ ausgeführt werden.
• •Auf „Node2“ optimiert und kompiliert der Worker-Dienstprozess das Mapping. Der Worker-Dienstprozess kommuniziert dann mit dem Masterrechenknoten auf „Node3“, um das kompilierte Mapping an einen Worker-Rechenknoten zu senden. Der Datenintegrationsdienst sendet eine Vorschau-Anfrage direkt an den Worker-Dienstprozess auf „Node2“. Der Dienstprozess erstellt zur Ausführung des Vorschaujobs eine DTM-Instanz in einem separaten DTM-Prozess auf „Node2“. „Node2“ dient auch als Worker-Rechenknoten und kann kompilierte Mappings ausführen.
• •Auf „Node3“ steuert der Dienstmanager auf dem Masterrechenknoten Anfragen zum Ausführen von Mappings. Der Masterrechenknoten fungiert auch als Worker-Rechenknoten und führt das Mapping aus „workflow1“ in einem separaten DTM-Prozess aus, der in einem Container gestartet wurde.

Regeln und Richtlinien für Gitter, die Jobs im Remotemodus ausführen

• •Das Gitter muss mindestens einen Knoten enthalten, der sowohl über die Dienst- als auch über die Berechnungsrolle verfügt, um einen Ad-hoc-Job mit Ausnahme von Profilen auszuführen. Der Datenintegrationsdienst führt diese Jobtypen in einem separaten DTM-Prozess auf dem lokalen Knoten aus. Fügen Sie zusätzliche Knoten mit der Dienst- und Berechnungsrolle hinzu, damit diese Jobtypen auf Dienstprozesse verteilt werden können, die auf anderen Knoten im Gitter ausgeführt werden.
• •Das Gitter muss mindestens zwei Knoten enthalten, die über die Dienstrolle verfügen, um ein Failover für den Datenintegrationsdienst zu unterstützen.
• •Wenn Sie einen Content-Managementdienst einem Datenintegrationsdienst zuordnen, um Mappings auszuführen, die Referenzdaten lesen, muss jeder Knoten im Gitter sowohl über die Dienst- als auch über die Berechnungsrolle verfügen.
• •Das Gitter darf nicht zwei Knoten enthalten, die auf demselben Host definiert sind.
• •Informatica rät davon ab, mehrere Datenintegrationsdienste einem Gitter zuzuweisen bzw. einen Knoten mehreren Datenintegrationsdienst-Gittern zuzuweisen.
Wenn ein Worker-Rechenknoten von mehreren Gittern gemeinsam genutzt wird, schlagen an den Knoten gesendete Mappings möglicherweise fehl, weil zu viele Knotenressourcen zugewiesen werden. Wird ein Masterrechenknoten von mehreren Gittern gemeinsam genutzt, so werden auch die Protokollereignisse für den Masterrechenknoten gemeinsam genutzt, sodass sich eine Fehlerbehebung unter Umständen schwierig gestaltet.

Wiederherstellen des Diensts, wenn Jobs im Remotemodus ausgeführt werden

• •Überschreiben von Rechenknotenattributen für einen Knoten, der dem Gitter zugewiesen ist.
• •Hinzufügen oder Entfernen eines Knotens aus dem Gitter.
• •Herunterfahren oder erneutes Starten eines Knotens, der dem Gitter zugewiesen ist.

Konfigurieren eines Gitters, das Jobs im Remotemodus ausführt

1. 1Aktualisieren Sie die Rollen für die Knoten im Gitter.
2. 2Erstellen Sie ein Gitter für Mappings, Profile und Arbeitsabläufe, die in separaten Remoteprozessen ausgeführt werden.
3. 3Weisen Sie den Datenintegrationsdienst dem Gitter zu.
4. 4Konfigurieren Sie den Datenintegrationsdienst so, dass Jobs in separaten Remoteprozessen ausgeführt werden.
5. 5Aktivieren Sie den Ressourcenmanager-Dienst.
6. 6Konfigurieren Sie ein gemeinsam genutztes Protokollverzeichnis.
7. 7Konfigurieren Sie optional Eigenschaften für jeden Datenintegrationsdienst-Prozess, der auf einem Knoten mit der Dienstrolle ausgeführt wird.
8. 8Konfigurieren Sie optional Berechnungseigenschaften für jede DTM-Instanz, die auf einem Knoten mit der Berechnungsrolle ausgeführt werden kann.
9. 9Stellen Sie den Datenintegrationsdienst wiederher.

Schritt 1. Knotenrollen aktualisieren

1Klicken Sie im Administrator Tool auf die Registerkarte Verwalten > Ansicht Dienste und Knoten.
2Wählen Sie im Domänennavigator einen Knoten aus, den Sie dem Gitter hinzufügen möchten.
3Klicken Sie in der Ansicht Eigenschaften für die allgemeinen Eigenschaften auf Bearbeiten.
Das Dialogfeld Allgemeine Eigenschaften bearbeiten wird angezeigt.
4Wählen Sie die Dienst- oder Berechnungsrolle aus oder löschen Sie sie, um die Knotenrolle zu aktualisieren.
5Klicken Sie auf OK.
6Falls Sie die Berechnungsrolle aktiviert hatten, wird das Dialogfeld Berechnungsrolle deaktivieren angezeigt. Führen Sie die folgenden Schritte durch:
1. aWählen Sie zum Deaktivieren der Berechnungsrolle einen der folgenden Modi aus:
• ▪ Abschließen. Ermöglicht die Fertigstellung von Jobs, bevor die Rolle deaktiviert wird.
• ▪ Stoppen. Stoppt alle Jobs und deaktiviert danach die Rolle.
• ▪ Abbrechen. Es wird versucht, alle Jobs vor deren Abbruch und Deaktivieren der Rolle anzuhalten.
2. bKlicken Sie auf OK.
7Wiederholen Sie die Schritte zum Aktualisieren der Knotenrolle für jeden Knoten, den Sie dem Gitter hinzufügen möchten.

Schritt 2. Ein Gitter erstellen

• •Eine beliebige Anzahl von Knoten nur mit der Dienstrolle.
• •Eine beliebige Anzahl von Knoten nur mit der Berechnungsrolle.
• •Mindestens einen Knoten mit sowohl der Dienst- als auch der Berechnungsrolle zur Ausführung von Vorschauen sowie von Ad-hoc-Jobs mit Ausnahme von Profilen.

1Klicken Sie im Administrator Tool auf die Registerkarte Verwalten.
2Klicken Sie auf die Ansicht Dienste und Knoten.
3Wählen Sie im Domänen-Navigator die Domäne aus.

4Klicken Sie im Navigator-Menü „Aktionen“ auf Neu > Gitter.
Das Dialogfeld Gitter erstellen wird angezeigt.
5Geben Sie die folgenden Eigenschaften ein:

Eigenschaft	Beschreibung
Name	Name des Gitters. Der Name unterliegt nicht der Groß-/Kleinschreibung und muss innerhalb der Domäne eindeutig sein. Er darf weder mehr als 128 Zeichen enthalten noch mit @ beginnen. Außerdem darf er weder Leerzeichen noch die folgenden Sonderzeichen enthalten: ` ~ % ^ * + = { } \ ; : ' " / ? . , < > | ! ( ) ] [
Beschreibung	Beschreibung des Gitters. Die Beschreibung darf nicht mehr als 765 Zeichen enthalten.
Knoten	Wählen Sie die Knoten aus, die Sie dem Gitter zuweisen möchten.
Pfad	Speicherort im Navigator, z. B.: DomainName/ProductionGrids

6Klicken Sie auf OK.

Schritt 3. Datenintegrationsdienst dem Gitter zuweisen

1Wählen Sie in der Ansicht Dienste und Knoten im Domänennavigator den Datenintegrationsdienst aus.
2Wählen Sie die Registerkarte Eigenschaften aus.
3Klicken Sie im Bereich Allgemeine Eigenschaften auf Bearbeiten.
Das Dialogfeld Allgemeine Eigenschaften bearbeiten wird angezeigt.
4Wählen Sie neben Zuweisen die Option Gitter aus.
5Wählen Sie das Gitter aus, das dem Datenintegrationsdienst zugewiesen werden soll.
6Klicken Sie auf OK.

Schritt 4. Jobs in separaten Remoteprozessen ausführen

1Wählen Sie in der Ansicht Dienste und Knoten im Domänennavigator den Datenintegrationsdienst aus.
2Wählen Sie die Registerkarte Eigenschaften aus.
3Klicken Sie im Abschnitt Ausführungsoptionen auf Bearbeiten.
Das Dialogfeld Ausführungsoptionen bearbeiten wird angezeigt.
4Wählen Sie für die Eigenschaft Joboptionen starten die Option In separaten Remoteprozessen aus.
5Klicken Sie auf OK.

Schritt 5. Den Ressourcenmanager-Dienst aktivieren

1Erweitern Sie in der Ansicht Dienste und Knoten den Ordner System_Services.
2Wählen Sie im Domänennavigator den Ressourcenmanager-Dienst aus und klicken Sie auf Dienst recyceln.

Schritt 6. Ein gemeinsam genutztes Protokollverzeichnis konfigurieren

1Wählen Sie in der Ansicht Dienste und Knoten im Domänennavigator den Datenintegrationsdienst aus.
2Klicken Sie auf die Registerkarte Prozesse.
3Wählen Sie einen Knoten aus, um das gemeinsam genutzte Protokollverzeichnis dafür zu konfigurieren.
4Klicken Sie im Abschnitt Protokollierungsoptionen auf Bearbeiten.
Das Dialogfeld Protokollierungsoptionen bearbeiten wird angezeigt.
5Geben Sie den Speicherort für das gemeinsam genutzte Protokollverzeichnis ein.
6Klicken Sie auf OK.
7Wiederholen Sie die Schritte für alle Knoten auf der Registerkarte Prozesse, um die einzelnen Dienstprozesse mit identischen absoluten Pfaden zu den gemeinsam genutzten Verzeichnissen zu konfigurieren.

Verwandte Themen:
• Protokollverzeichnis

Schritt 7. Optional Prozesseigenschaften konfigurieren

Verwandte Themen:
• Datenintegrationsdienst-Prozesseigenschaften

Schritt 8. Optional Berechnungseigenschaften konfigurieren

Verwandte Themen:
• Datenintegrationsdienst - Berechnungseigenschaften

Schritt 9. Den Datenintegrationsdienst wiederherstellen

Protokolle für Jobs, die im Remotemodus ausgeführt werden

LDTM-Meldungen, die vom Worker-Dienstprozess auf dem Dienstknoten geschrieben werden

Der erste Abschnitt des Mapping-Protokolls enthält LDTM-Meldungen zur Mapping-Optimierung und -Kompilierung sowie zur Generierung der Gitteraufgabe, die vom Worker-Dienstprozess auf dem Dienstknoten geschrieben werden.

Die Meldungen zur Gitteraufgabe umfassen die folgende Meldung, die den Speicherort der Protokolldatei angibt, die vom DTM-Prozess auf dem Worker-Rechenknoten geschrieben wird:

INFO: [GCL_5] The grid task [gtid-1443479776986-1-79777626-99] cluster logs can be found at [./1443479776986/taskletlogs/gtid-1443479776986-1-79777626-99].

Das aufgelistete Verzeichnis ist ein Unterverzeichnis des folgenden Standardprotokollverzeichnisses, das für den Worker-Rechenknoten konfiguriert ist:

<Informatica installation directory>/logs/<node name>/dtmLogs/

DTM-Meldungen, die vom DTM-Prozess auf dem Rechenknoten geschrieben werden

Der zweite Abschnitt des Mapping-Protokolls enthält Meldungen zur Mapping-Ausführung, die vom DTM-Prozess auf dem Worker-Rechenknoten geschrieben werden.

Der DTM-Abschnitt des Protokolls beginnt mit den folgenden Zeilen, die den Namen des Worker-Rechenknotens angeben, der das Mapping ausgeführt hat:

###
### <MyWorkerComputeNodeName>
###

### Start Grid Task [gtid-1443479776986-1-79777626-99] Segment [s0] Tasklet [t-0] Attempt [1]

Der DTM-Abschnitt des Protokolls endet mit der folgenden Zeile:

### End Grid Task [gtid-1443479776986-1-79777626-99] Segment [s0] Tasklet [t-0] Attempt [1]

Überschreiben von Rechenknotenattributen zur Erhöhung der Anzahl gleichzeitiger Jobs

• •Sie führen Jobs mit langer Ausführungsdauer im Gitter aus.
• •Der Datenintegrationsdienst kann DTM-Prozesse nicht wiederverwenden, weil Sie Jobs aus unterschiedlichen bereitgestellten Anwendungen ausführen.
• •Die Parallelverarbeitung von Jobs ist wichtiger als die Jobausführungszeit.