チャンキングトランスフォーメーション
詳細モードでは、チャンキングトランスフォーメーションはテキストの大きな塊をより小さなセグメント（チャンク）に分割します。そうすることで、ターゲットトランスフォーメーションが埋め込みとメタデータをベクトルデータベースに書き込む前に、コンテンツの関連性を高めることができます。
チャンキングトランスフォーメーションからの出力をベクトル埋め込みトランスフォーメーションに渡して、テキストのベクトル埋め込みを作成します。詳細については、「
ベクトル埋め込みトランスフォーメーション」を参照してください。
チャンキングトランスフォーメーションを設定する際に、分割するテキストに基づいてチャンキング方法を選択します。方法を選択するには、次の要素を考慮してください。
- •テキストが長いドキュメントから得られたものか、短いメッセージから得られたものか
- •大規模言語モデル（LLM）に対するユーザークエリの長さと複雑さ
- •LLMを使用するアプリケーションのユースケース（セマンティック検索、質問応答、要約など）
注: チャンキングトランスフォーメーションは、サーバーレスランタイム環境やGPUでは実行できません。トランスフォーメーションがGPU対応クラスタで実行される場合、GPUは無効になり、トランスフォーメーションはCPUを消費します。