ベクトル埋め込みトランスフォーメーション
詳細モードでは、ベクトル埋め込みトランスフォーメーションを使用して入力テキストのベクトル埋め込みを生成し、テキストのセマンティック上の意味をベクトル形式でキャプチャできます。
ベクトル埋め込みトランスフォーメーションを使用する前に、チャンキングトランスフォーメーションを使用してテキストをチャンクに分割します。次に、ベクトル埋め込みトランスフォーメーションでは、Word2VecやBERTなどの埋め込みモデルを使用して、テキストの各チャンクに対してベクトル埋め込みを生成できます。チャンキングトランスフォーメーションの詳細については、「
チャンキングトランスフォーメーション」を参照してください。
各ベクトルのIDを作成するには、式トランスフォーメーションでUUID_STRING関数を使用するか、シーケンスジェネレータトランスフォーメーションを使用します。
ターゲットトランスフォーメーションでは、ベクトルをベクトルデータベースに書き込むことができます。
注: ベクトル埋め込みトランスフォーメーションは、サーバーレスランタイム環境、Google Cloudの詳細クラスタ、またはGPUでは実行できません。トランスフォーメーションがGPU対応クラスタで実行される場合、GPUは無効になり、トランスフォーメーションはCPUを消費します。