Pythonトランスフォーメーションのフィールド
Pythonトランスフォーメーションには受信フィールドと出力フィールドがあります。受信フィールドと出力フィールドは、［Python］タブで定義しているPythonコードスニペットの変数として使用します。
［出力フィールド］タブで出力フィールドを追加します。
ダウンストリームトランスフォーメーションに渡す出力データの出力フィールドを追加します。フィールドを追加するには、［フィールドの追加］をクリックして、フィールド名、データ型、精度、およびスケールを入力します。Pythonエディタの［出力］タブで［新しいフィールドの作成］をクリックして、出力フィールドを作成することもできます。
トランスフォーメーションにフィールドを追加したら、フィールド名をPythonコード内で変数として使用できます。
出力フィールドを作成するときには、以下のガイドラインに従ってください。
1つ以上の入力フィールドをパーティションキーとして設定できます。データ統合は、パーティションキーを使用して、コードの実行前にデータの再パーティション化を行います。受信フィールドをパーティションキーとして追加しない場合、データはデフォルトのパーティションスキームを使用して処理されます。
データ型の変換
Pythonトランスフォーメーションは、Pythonトランスフォーメーションのフィールドタイプに基づいて、トランスフォーメーションのデータ型をPythonデータ型に変換します。
Pythonトランスフォーメーションは、入力行を読み込むと、受信フィールドデータ型をPythonデータ型に変換します。Pythonトランスフォーメーションは、出力行を書き込むと、Pythonデータ型を出力フィールドデータ型に変換します。
例えば、次の処理は、doubleデータ型である入力フィールドに対して発生します。
- 1Pythonトランスフォーメーションは受信フィールドのdoubleデータ型をPythonのfloatデータ型に変換します。
- 2このPythonトランスフォーメーションでは、受信フィールドの値をPythonのfloatデータ型の値として使用します。
- 3トランスフォーメーションは、出力行を生成すると、Pythonのfloatデータ型をdoubleデータ型に変換します。
Pythonトランスフォーメーションでトランスフォーメーションのデータ型をPythonのデータ型にマッピングする方法を次の表に示します。
トランスフォーメーションデータ型 | Pythonのデータ型 |
|---|
Integer | Int |
Decimal | Float |
Double | Float |
Timestamp | Datetime |
String | Str |
テキスト | テキスト |
入出力フィールドのデータ型
Pythonトランスフォーメーションでは、対応する受信フィールドと出力フィールドのデータ型を同じにする必要があります。データ型が異なる場合は、Pythonコードでデータ型を変換します。
例えば、integerデータ型の受信フィールドとstringデータ型の出力フィールドを作成します。受信フィールドのデータを処理し、そのデータを出力フィールドに書き込むPythonコードを定義します。Pythonコードでstr()関数を使用して、受信フィールドのintegerデータ型を変換し、その出力をstringデータ型として出力フィールドに書き込むことができます。
パーティションキー
パーティションキーを使用して、Pythonコードを実行する前にデータをパーティションにグループ化する方法を定義できます。
1つ以上の入力フィールドをパーティションキーとして設定できます。Pythonトランスフォーメーションは、パーティションキーを使用して、コードの実行前にデータの再パーティション化を行います。受信フィールドをパーティションキーとして追加しない場合、データはデフォルトのパーティションスキームを使用して処理されます。