詳細モードのマッピング
マルチレベルの階層データ、埋め込みコードスニペット、ワークロードを任意の規模で処理する場合は、詳細モードでマッピングを作成します。Mapping Designerは、詳細な機能を有効にするトランスフォーメーションと関数を含むようにマッピングキャンバスを更新します。
詳細モードのマッピングでは、次のタイプの複雑な処理を実行できます。
- •階層入力またはリレーショナル入力を読み取り、階層プロセッサトランスフォーメーションを使用して、リレーショナル出力、階層出力、またはフラット化された非正規化出力に変換する。
- •PythonおよびJavaのトランスフォーメーションを使用して、コードスニペットをマッピングに埋め込む。
- •機械学習トランスフォーメーションを使用して、機械学習モデルにデータを渡す。
- •増分ロードされたソースファイルを再処理して、指定した時間間隔でデータのスナップショットを作成し、ターゲット内の不良データのソースをデバッグおよび検出し、削除されたデータを復元する。
- •コードタスクAPIを使用して、手動でコーディングされたScalaジョブを実行する。
- •MongoDB、DynamoDB、CosmosDBなどのネイティブNoSQLコネクタを使用して、サードパーティのドライバを使用せずにデータベースに接続する。
- •任意のコネクタを使用してデータを処理する。
詳細モードのマッピングには、マッピングロジックを実行するための詳細クラスタが必要です。詳細モードのマッピングの実行を開始すると、データ統合では、ユーザーが使用するローカルの詳細クラスタが自動的に作成されます。
詳細クラスタが必要であるため、マッピングは次のいずれかのタイプのランタイム環境で実行する必要があります。
- •1つのSecure Agentを持つSecure Agentグループ。Secure AgentはLinuxにインストールされている必要があります。
- •サーバーレスランタイム環境。
詳細クラスタの使用
詳細モードのマッピングは、分散処理環境でマッピングロジックを実行するKubernetesクラスタである詳細クラスタ上で実行されます。
詳細クラスタには次のようなタイプがあります。
- •プロジェクトをすばやくオンボードするために使用できる、単一ノードのローカルクラスタ。
- •Informaticaが作成、管理、および削除する完全に管理されたクラスタ。
- •組織が管理するセルフサービスのKubernetesクラスタ。
- •サーバーレスランタイム環境によって作成される詳細クラスタ。
詳細モードのマッピングの実行を開始すると、ローカルクラスタを使用できます。詳細モードでマッピングを実行するとすぐに、データ統合によってマッピングを実行するための一時的なローカルクラスタが自動的に作成され、マッピング出力にすぐにアクセスできるようになります。
大規模なデータ統合プロジェクトを開発する場合、管理者はランタイム環境を設定して、ワークロードのサイズに適応する完全に管理されたクラスタまたはセルフサービスクラスタに接続できます。または、管理者は、組織が使用できる詳細クラスタを含むサーバーレスランタイム環境を設定することができます。
詳細クラスタの詳細については、Administratorヘルプを参照してください。
詳細モードでのマッピング設定
Mapping Designerを使用して、詳細モードでのマッピングの作成や詳細モードの設定の更新を行います。
次のタスクを実行できます。
- •詳細モードでマッピングを作成する。
- •マッピングを詳細モードにコピーする。
- •詳細モードの設定を更新する。
注: Mapping Designerが、詳細モードを使用するようにマッピングキャンバスを更新すると、操作を元に戻すことはできません。
詳細モードでのマッピングの作成
詳細モードでマッピングを作成するには、マッピングを作成してから、Mapping Designerでマッピングキャンバスを更新します。
1データ統合で、［新規］ > ［マッピング］ > ［マッピング］をクリックします。
2Mapping Designerで、［詳細に切り替え］をクリックします。
次の画像は、Mapping Designerの［詳細に切り替え］ボタンを示しています。
3［詳細に切り替え］ダイアログボックスで、必要に応じて詳細モードの確認ダイアログボックスを非表示にするか、常に詳細モードでマッピングを作成するかを選択します。
4［詳細に切り替え］をクリックします。
Mapping Designerは、マッピングキャンバスを詳細モードに更新します。
詳細モードへのマッピングのコピー
既存のマッピングを詳細モードにコピーするには、Mapping Designerでマッピングキャンバスを更新します。
1マッピングを開きます。
2Mapping Designerで、［詳細に切り替え］をクリックします。
3［詳細に切り替え］ダイアログボックスで、必要に応じて詳細モードの確認ダイアログボックスを非表示にするか、常に詳細モードでマッピングを作成するかを選択します。
4［詳細に切り替え］をクリックします。
データ統合は、元のマッピングを保持し、詳細モードでマッピングのコピーを作成します。コピーで、Mapping Designerがマッピングキャンバスを詳細モードに更新します。
詳細モードの設定の更新
詳細モードの設定を更新して、［詳細に切り替え］ダイアログボックスを表示または非表示にするか、デフォルトで詳細モードでマッピングを作成します。
1詳細モードでマッピングを開きます。
2Mapping Designerのヘッダーで、［設定］アイコンをクリックします。
3［詳細モードの設定］ダイアログボックスで、次のオプションをオンまたはオフにします。
- - 詳細モードにマッピングをコピーする前に確認を求めます。
- - 常に詳細モードでマッピングを作成します。
4［Save］（保存）をクリックします。
ランタイムプラン
詳細モードでマッピングをトラブルシューティングするには、ジョブを監視するときにランタイムプランを表示します。ランタイムプランには、データ統合サーバーまたは詳細クラスタで実行されるマッピングロジックが表示されます。
詳細モードでマッピングを実行すると、データ統合はマッピングコンパイルログを使用して、視覚化されたマッピングロジックを実行時に作成します。この視覚化は、ジョブの詳細で表示可能なランタイムプランとして利用できます。
次の図に、ランタイムプランの例を示します。
ランタイムプランは、実行時にマッピング内でデータが実際にどのように進むかをおおまかに表したものです。ランタイムプランはマッピングのコンパイル後に生成されるため、ランタイムプランのトランスフォーメーションは、設計されたマッピングとは異なる順序で表示される場合があります。
注: マッピングがSQL ELTの最適化を使用して実行された場合、マッピングロジックはデータベースで実行されるため、ランタイムプランは利用できません。
詳細モードでのマッピングの監視については、「Monitor」を参照してください。
RAG取り込みパイプラインの作成
詳細モードでは、取得拡張生成（RAG）取り込みパイプラインを作成して、大規模言語モデル（LLM）アプリケーションにナレッジベースを構築できます。
RAG取り込みパイプラインを作成するには、詳細モードでマッピングを使用して、アーティクル、請求書、レポートなどのドキュメントをアップロードすることができます。テキストをチャンクに分割し、チャンクされたテキストをベクトル埋め込みに変換できます。その後、チャンクされたテキストおよびベクトル埋め込みをベクトルデータベースに格納することができます。
LLMアプリケーションにクエリを送信するときに、クエリの埋め込みとベクトルデータベースに格納されている既存の埋め込みの類似性を計算して、クエリに意味的に一致する最も関連性の高いテキストチャンクを見つけることで、補助的なテキストを提供できます。LLMは、クエリおよび補助テキストを、生成してユーザーに返す応答に組み込みます。
次のトランスフォーメーションを使用して、マッピングを順番に作成します。
- 1ソーストランスフォーメーション。PDFを読み取ってテキストを抽出します。
- 2チャンクトランスフォーメーション。大きなテキスト部分を小さなセグメント（チャンク）に分割して、コンテンツの関連性を高めます。
- 3ベクトル埋め込みトランスフォーメーション。入力テキストにベクトル埋め込みを生成し、テキストの意味をベクトル形式でキャプチャします。
- 4式またはシーケンスジェネレータトランスフォーメーション。それぞれのベクトルの識別子を作成します。
- 5ターゲットトランスフォーメーション。ベクトルをベクトルデータベースに書き込みます。
それぞれのトランスフォーメーションの詳細については、「トランスフォーメーション」を参照してください。
