チャンキングトランスフォーメーション
詳細モードでは、チャンキングトランスフォーメーションによって、テキストを分割して効率的な形式に変換することで、自然言語処理（NLP）と検索拡張生成（RAG）の有効性が向上します。トランスフォーメーションは、大きなテキストを小さなセグメントまたはチャンクに分割し、テキストを処理して、ベクトル埋め込みのためにデータをよりクリーンで、意味的により一貫性のあるものにします。
チャンキングトランスフォーメーションからの出力をベクトル埋め込みトランスフォーメーションに渡して、テキストのベクトル埋め込みを作成できます。チャンキングトランスフォーメーションにより、ターゲットトランスフォーメーションが埋め込みとメタデータをベクトルデータベースに書き込む前に、コンテンツの関連性を高めることができます。詳細については、「
ベクトル埋め込みトランスフォーメーション」を参照してください。
注: チャンキングトランスフォーメーションは、AWSのサーバーレスランタイム環境やGPU上では実行できません。トランスフォーメーションがGPU対応クラスタで実行される場合、GPUは無効になり、トランスフォーメーションはCPUを消費します。