ベクトル埋め込みトランスフォーメーション
詳細モードでは、ベクトル埋め込みトランスフォーメーションを使用して入力テキストのベクトル埋め込みを生成し、テキストのセマンティック上の意味をベクトル形式でキャプチャできます。
ベクトル埋め込みトランスフォーメーションを使用する前に、チャンキングトランスフォーメーションを使用してテキストをチャンクに分割し、テキストを処理して、ベクトル埋め込みのためにデータをよりクリーンで、意味的により一貫性のあるものにします。これにより、ベクトル埋め込みトランスフォーメーションは、Word2VecやBERTなどの埋め込みモデル、または独自の埋め込みモデルを使用して、テキストのそれぞれのチャンクに対してベクトル埋め込みを生成できるようになります。チャンキングトランスフォーメーションの詳細については、「
チャンキングトランスフォーメーション」を参照してください。
各ベクトルのIDを作成するには、式トランスフォーメーションでUUID_STRING関数を使用するか、シーケンスジェネレータトランスフォーメーションを使用します。
- •式トランスフォーメーションでUUID_STRING関数を使用する場合は、引数を渡さずに関数を使用します。この関数は、精度100の文字列フィールドに格納できるグローバルに一意のIDを返します。詳細については、関数リファレンスを参照してください。
- •シーケンスジェネレータトランスフォーメーションを使用する場合は、ベクトルデータベース内の同じインデックスにデータをロードするすべてのマッピングで使用する共有シーケンスを作成します。
ターゲットトランスフォーメーションでは、ベクトルをベクトルデータベースに書き込むことができます。
注: ベクトル埋め込みトランスフォーメーションは、AWSのサーバーレスランタイム環境、Google Cloudの詳細クラスタ、またはGPU上では実行できません。トランスフォーメーションがGPU対応クラスタで実行される場合、GPUは無効になり、トランスフォーメーションはCPUを消費します。