Data Engineering

In diesem Abschnitt finden Sie weitere Informationen zu den neuen Data Engineering-Funktionen in Version 10.5.2.

Databricks

Lesen Sie diesen Abschnitt, um mehr über neue Funktionen zu erfahren, die Databricks-Funktionen unterstützen.

Entwicklung des Delta Lake-Schemas

Ab Version 10.5.2 können Sie dynamische Zuordnungen konfigurieren, um Databricks-Quellschemaänderungen auf Delta Lake-Ziele anzuwenden. Sie können aus drei verschiedenen Strategien wählen, um Delta Lake-Zieltabellen zu aktualisieren, wenn sich ein Quellschema ändert. Zuordnungen sind erfolgreich, wenn die Zusammenführung in der Zuordnung aktiviert und die Schemaerzwingung im Databricks-Arbeitsbereich deaktiviert ist.

Weitere Informationen finden Sie in der folgenden Dokumentation:

Verwenden von Databricks- und benutzerdefinierten Parametern zum Konfigurieren von Ephemeral-Clustern

Ab Version 10.5.2 können Sie benutzerdefinierte Parameter und Databricks-Parameter in einer JSON-Datei verwenden, um Ephemeral-Cluster zu konfigurieren, wenn Sie einen Arbeitsablauf zur Clustererstellung verwenden. Sie können die einfach zu bearbeitende JSON-Datei verwenden, anstatt Parameterwerte in den Eigenschaften der Aufgabe „Cluster erstellen“ anzugeben.

Weitere Informationen finden Sie in der Dokumentation zum Cluster-Arbeitsablauf im Data Engineering Integration-Benutzerhandbuch.

Nicht verwaltete Databricks-Tabellenziele

Ab Version 10.5.2 können Sie Zuordnungen so konfigurieren, dass sie in nicht verwaltete Databricks-Tabellenziele schreiben.

Weitere Informationen hierzu finden Sie im Data Engineering Integration-Benutzerhandbuch.

Data Transformation

Ab Version 10.5.2 können Sie den ExcelToDataXml-Dokumentprozessor so konfigurieren, dass Elemente zur Ausgabe hinzugefügt werden, wenn eine Quelltabelle leere Zellen in der Mitte oder am Ende von Tabellenzeilen enthält.

Weitere Informationen finden Sie im Data Transformation-Benutzerhandbuch.

Dynamische Zuordnung für Kudu

Ab Version 10.5.2 können Sie eine durch Kommas getrennte Liste von Spaltennamen eingeben, die Sie als Primärschlüssel verwenden möchten, wenn Sie ein Kudu-Objekt mit der Option für dynamischen Zuordnungsfluss erstellen.