トークン埋め込みと文書埋め込みを区別する

単語や部分語などをニューラルネットワークが扱える表現にする。

単語や部分語などをニューラルネットワークが扱える表現にする。

問題の要件では、トークン埋め込みはモデル内部でトークンを数値表現へ変換するが解決する範囲と、別の工程が担う範囲を分けて判断する。

RAGで質問との類似度を計算する用途に使える。

RAGで質問との類似度を計算する用途に使える。

問題の要件では、文書埋め込みは文書やチャンク全体の意味をベクトル検索へ使うが解決する範囲と、別の工程が担う範囲を分けて判断する。