🔀

埋め込みモデルを替えるとき,インデックスを全部作り直さずに済む方法を調べた

Shuya

RAG の埋め込みモデルを新しくするたびに全文書を埋め込み直すのはつらいので,差分で移行する方法を論文から探した.新旧の埋め込み空間を写像でつなぐ Embedding Space Alignment と,新旧2つのインデックスを並べて少しずつ移す Dual Index + Lazy Migration が中心.

この記事はAIを利用して生成された内容を含みます。

RAG で使っている埋め込みモデルを新しいものに替えようとすると,既存のインデックスが邪魔になる.新しいモデルで埋め込んだ質問と,古いモデルで埋め込んだ文書は比べられない.次元が同じでも,別々に学習した空間なので軸の意味が合っていないからだ.結局,全文書を埋め込み直してインデックスを建て直すことになる.

文書が多いと,これがかなり重い.API のモデルなら料金とレート制限に引っかかるし,自前のモデルなら GPU を長い時間使う.埋め直しが終わるまで新しいモデルは使えず,その間に増えた文書をどちらのモデルで埋め込むかも決めないといけない.そもそも新しいモデルで自分のデータの検索が良くなるのかは,全部埋め直してみないと分からない.しかも API のモデルが廃止されるときは,替えないという選択肢がない.

全部やり直さずに差分で移行する方法がないか,論文を調べた.

画像検索での backfilling の研究

調べてみると,同じ問題は画像検索や顔認証の分野で2020年ごろから研究されていた.蓄積した画像(ギャラリー)の特徴量を新しいモデルで計算し直すことを backfilling と呼び,それを省くための研究は backward-compatible representation learning(後方互換な表現学習)と呼ばれている.RAG に読み替えると,ギャラリーが文書のコーパス,クエリが質問,backfilling が文書の埋め直しとインデックスの建て直しに当たる.もう1つよく出てくる言葉が negative flip で,旧モデルでは正しく引けていた質問が,新モデルでは引けなくなることを指す.

手法はざっくり次の3つに分かれる.

  1. 新モデルを学習するときに,旧モデルと互換になるようにする.
  2. 学習済みの新旧モデルのあいだに写像を学習する(Embedding Space Alignment).
  3. 新旧のインデックスを並べて動かし,文書を少しずつ移す(Dual Index + Lazy Migration).

最近の論文は2と3を組み合わせていることが多い.API の埋め込みモデルを使っていると1は使えないので,この記事では2と3を中心に書く.

新モデルを互換に学習する

1の系統は新モデルを自分で学習できる前提の話で,API のモデルを使うなら互換性は後から足すしかない.ただ,後で出てくる考え方の多くはここから来ている.

BCT,Hot-Refresh,BC-Aligner などの論文

BCT

出発点は Shen ら(CVPR 2020)[1] の BCT(Backward-Compatible Training)だ.顔認証のように分類で学習する埋め込みモデルが対象で,新モデル ϕnew\phi_\text{new} を学習するときの損失に,旧モデルの分類器 woldw_\text{old} を固定したまま新しい埋め込みに当てる項を足す.

L(ϕnew,wnew)=Lnew(ϕnew,wnew)+λ Lold(ϕnew,wold)\mathcal{L}(\phi_\text{new}, w_\text{new}) = \mathcal{L}_\text{new}(\phi_\text{new}, w_\text{new}) + \lambda\, \mathcal{L}_\text{old}(\phi_\text{new}, w_\text{old})

第2項(論文では influence loss)があると,新しい埋め込みは旧分類器でも正しく分類できる位置に置かれる.その結果,新しい質問ベクトルを旧ギャラリーとそのまま比べられるようになる.代わりに新モデルの性能は旧空間に縛られる.後の研究の多くは,このトレードオフをどう緩めるかを扱っている.

Hot-Refresh

Zhang ら(ICLR 2022)[2] は,互換なモデルなら新モデルをすぐに配備して,ギャラリーは裏で少しずつ埋め直せる点に注目した(hot-refresh).途中のギャラリーには新旧の特徴が混ざるが,互換なので新しい質問ベクトルとそのまま比べられる.

ところが実際には,移行の途中で精度が移行前より下がることがある.旧モデルで引けていた質問が,混ざったギャラリーでは引けなくなる.論文が挙げる原因の1つは,同じ画像の新旧ペアの類似度が,別クラスの画像との新同士の類似度より低くなる場合があることだ.そこで RACT という損失で,同じ画像の新旧ペアを,別クラスとの新旧ペアと新同士のペアのどちらよりも近づけるようにした.どの画像から埋め直すかも提案していて,新モデルの分類器を旧特徴に当てたときの確信度が低い画像,つまり旧特徴の質が悪そうな画像を先にする.

negative flip の考え方は,RAG の評価でもそのまま使える.平均の再現率が上がっても,前は答えられた質問に答えられなくなれば,使う側には劣化に見える.

BC-Aligner

Hu ら(KDD 2022)[3] は推薦システムで,1つの埋め込みモデルの出力を複数のチームの下流モデルが使っている状況を扱った.埋め込みを更新すると,下流のモデルを全部学習し直すことになる.そこで新モデルと一緒に,新しい埋め込みを1つ前のバージョンの空間に戻す線形変換を学習しておく.Drift-Adapter と同じく,新しいほうから古いほうへ戻す向きの写像だ.変換をつなげれば何世代前の空間にも戻せるので,古いモデル本体は捨てられる.

ただ,変換をつなぐと誤差がたまる.BC-Aligner は1段分の誤差だけでなく,過去の各バージョンまで戻したときの誤差もまとめて損失に入れている.Amazon のレビューデータの3つのカテゴリで4回更新した(5つのバージョンを作った)実験では,全バージョンのモデルを残しておく方法と比べて,本来のタスクの低下は3%前後,下流タスクの低下は0.5%前後で済んだ.読んだ中では,モデルを何度も替えて変換が連なる問題を扱っていたのはこの論文だけだった.

固定した分類器と学習型スパース表現

Biondi ら(CVPR 2024)[4] は,分類器の重みを正単体(d-Simplex)の頂点に固定して学習すると,互換性の定義を最適に近い形で満たせることを示した.分類器の向きが動かないので,モデルを替えても特徴空間の配置が大きく動かない.

Qiao ら(SIGIR 2026)[5] は,dense な埋め込みと SPLADE のような学習型スパース表現(LSR)を比べている.文書側のインデックスを古いままにして質問のエンコーダだけ新しくすると,dense は検索の質が大きく落ちたのに対して,LSR はあまり落ちなかった.スパース表現の次元は語彙の単語に対応しているので,モデルが替わっても軸の意味が変わらない.順位の融合,表現の融合,小さなアダプタといった質問側だけの対策で,互換性がさらに上がることも示している.

Embedding Space Alignment

新旧どちらのモデルにも手を入れられないときは,同じ文書を両方で埋め込んだペアを少し用意して,2つの空間をつなぐ写像を学習する.

直交 Procrustes

いちばん単純なのは線形写像で,単語埋め込みを言語間で対応づける研究では昔から使われている.Mikolov ら(2013)[6] は,2つの言語の単語ベクトルが線形写像でかなり対応づくことを示した.Xing ら(2015)[7] は,その写像を直交行列に限ると良いことを示した.直交行列は回転と鏡映しか表さないので,空間の中の距離と角度が変わらない.

新旧のモデルで同じ NN 件の文書を埋め込んだ行列を X,Y∈RD×NX, Y \in \mathbb{R}^{D\times N}(列が文書)とすると,求めたい直交行列は次の式で書ける.

R∗=arg⁡min⁡R⊤R=I∥RX−Y∥FR^* = \mathop{\arg\min}_{R^\top R = I} \|RX - Y\|_F

これは直交 Procrustes 問題で,YX⊤=UΣV⊤YX^\top = U\Sigma V^\top と特異値分解すれば R∗=UV⊤R^* = UV^\top で求まる(Schönemann 1966)[8].SVD を1回計算するだけで,反復はいらない.

こんな単純な写像で足りるのかについては,Maystre ら(2025)[9] が理論の裏付けを出している.2つのモデルが文書同士の内積をほぼ同じに保つなら,つまりグラム行列の差が小さいなら,直交変換で両者をほぼ重ねられる.

∥X⊤X−Y⊤Y∥F≤ε  ⟹  min⁡Q∈O(D)∥QX−Y∥F≤(2D)1/4ε\|X^\top X - Y^\top Y\|_F \le \varepsilon \;\Longrightarrow\; \min_{Q \in O(D)} \|QX - Y\|_F \le (2D)^{1/4}\sqrt{\varepsilon}

どの文書とどの文書が似ているかの判断さえ新旧で一致していれば,座標がまったく違っても回転で合わせられるということだ.同じ論文では,7つのテキスト埋め込みモデルの全49通りの組で,1組あたり10,000件の文書から直交写像を学習している.写像なしだと別のモデル同士の検索はほぼ機能しなかったが,写像を入れると機能するようになった.強いほうのモデルを質問側に使うと,3つのタスクのうち2つで成績が大きく上がった.次元が違う組は,短いほうのベクトルをゼロで埋めてそろえている.

顔認証でも似た報告がある.NeurIPS 2026 に採択された Zhao らの論文 [10] によると,独立に学習した顔認証モデルの空間は1つの直交変換でよく近似できる(論文は representation rigidity と呼んでいる).同じ系統のモデルへの更新なら,Procrustes で写した質問ベクトルで,新モデル単体の Rank-1 精度の99.8%以上を取り戻せたという.

写像の向き

写像は,新モデルの質問を旧空間に写す向きでも,旧モデルの文書を新空間に写す向きでも作れる.前者の例が Drift-Adapter と Online Backfilling の逆変換で,後者の例が Embedding-Converter,FCT,FastFill だ.

質問を写す向きなら,インデックスには一切触らず,質問側だけに手を入れればいい.文書を写す向きだとインデックスのベクトルを入れ替えることになるが,テキストを新モデルに通し直す必要はなく,ベクトルに小さなネットワークを掛けるだけで済む.

どちらの向きでも,旧モデルの文書ベクトルが持っていない情報は取り戻せない.新モデルが文書から新しく読み取れるようになった情報を使うには,結局その文書を新モデルで埋め直すしかない.

Drift-Adapter

Vejendla(EMNLP 2025)[11] の Drift-Adapter は,ベクトルデータベースの運用を想定した論文だ.新モデルで埋め込んだ質問を写像 gg で旧空間に写して,旧モデルで作った近似最近傍(ANN)インデックスをそのまま検索する.gg には,直交 Procrustes,低ランク(r=64r=64)のアフィン変換,隠れ層が256ユニットの残差つき MLP の3種類を試している.

学習データは,100万件のコーパスから無作為に選んだ20,000件(2%)を新旧両方で埋め込んだペアだ.学習は,Procrustes なら CPU で10〜15秒,MLP でも A100 1枚で1分くらいで終わる.

テキストでは all-MiniLM-L6-v2 から all-mpnet-base-v2 への更新を,MTEB の AG-News,DBpedia-14,Emotion(それぞれ100万件)で試している.画像では CLIP ViT-B/32 から ViT-L/14 への更新を,LAION の100万件で試している.表の値は,新モデルで全件を埋め直したときの Recall@10 を1とした比(論文の ARR)だ.

写像AG-NewsDBpedia-14EmotionLAION(CLIP)質問1件あたりの追加時間
直交 Procrustes0.9740.9680.9530.9423〜4 µs
低ランクアフィン0.9830.9790.9670.9615〜6 µs
残差 MLP0.9920.9900.9840.9788〜10 µs

ペアが5,000件しかなくても ARR は0.97を超えた.一方で,GloVe の単語ベクトルを平均したものから all-mpnet-base-v2 へのように大きく違うモデル間だと,MLP でも0.715にとどまった.1つの写像をコーパス全体に当てると合わない部分も出てくる.付録の合成データの実験では,カテゴリごとに MLP を2つ使い分けると,ARR が0.85から0.94に上がっていた.

数字は良いが,そのまま受け取らないほうがいい.ARR の正解は,新モデルで全件を総当たりしたときの近傍で,人手でつけた関連文書のラベルではない.新モデルの検索結果をどれだけ真似できたかは分かるが,答えの質がどれだけ良くなるかはこの表からは分からない.

コストの比較も見積もりだ.論文は,全件を再インデックスする場合と比べて計算コストが100分の1以下になるとしている.ただ,根拠の表は著者自身が見積もりだと断っていて,二重インデックスも実際には動かしていない.論文の結論も,写像は移行期間のつなぎで,コーパス全体の埋め直しはいずれ必要になる,というものだ.

Embedding-Converter

Yoon と Arik(ACL 2025)[12] の Embedding-Converter は逆向きで,旧モデルの文書ベクトルを新空間に写す.写像は4層の MLP で,gecko003 から gecko004 への変換では約3,500万パラメータある.損失は,変換後のベクトルと本物の新ベクトルの差(平均絶対誤差)に,ランダムに選んだ文書の組の距離をそろえる項と,各文書と近傍100件との距離をそろえる項を足したものだ.アブレーションでは差の項だけでは足りず,距離の2つの項を入れると成績が上がった.学習データは BEIR の14のデータセットの文書と,MS MARCO の質問約50万件.

BEIR の13のデータセットで,質問は新モデルで埋め込み,文書だけを変換したベクトルにして検索した結果が次の表だ(nDCG@10 の平均).

変換旧モデルのみ変換後新モデルのみ
gecko003 → gecko0040.50670.53620.5609
text-embedding-3-small → gecko0040.52090.53140.5609

同じ系統のバージョンアップなら,新旧の差の半分くらいを,テキストを埋め直さずに取れている.別の会社のモデルへの乗り換えでは,次元も1536から768に変わり,取れたのは差の4分の1ほどだった.付録の試算では,API の料金とレート制限から見て,全件を埋め直すより費用も時間もおよそ100分の1になる.

この論文は,乗り換える前の見積もりにも使えると言っている.学習に使っていない CQADupStack の12のデータセットでは,変換後の成績が新モデルにどこまで近づくかはまちまちだった.それでも,新旧どちらのモデルが良いかは変換後の成績から正しく当てられた.全件を埋め直す前に,乗り換える価値があるかを安く確かめられる.

FCT

旧ベクトルから新ベクトルを作る写像は,旧ベクトルにない情報までは作れない.Ramanujan ら(CVPR 2022)[13] の FCT(Forward Compatible Training)はこれを見越して,旧モデルを導入する時点で,将来のモデル更新のための補助の特徴(side-information)を文書ごとに計算して保存しておく.更新するときは,旧ベクトルと補助の特徴から新ベクトルを推定する写像を学習する.新モデルの学習には手を入れないので,新モデルの性能は落ちない.ImageNet-1k の検索精度では BCT を18.1%上回った.保存するデータは増えるが,最初から将来の乗り換えを考えておけるなら有力な選択肢だ.

vec2vec

ここまでの写像は,どれも同じ文書を新旧両方で埋め込んだペアが必要だった.旧モデルがもう使えないとペアは作れない.Drift-Adapter の論文もこれを制約に挙げている.Jha ら(2025)[14] の vec2vec は,ペアなしで2つの埋め込み空間を対応づける.モデルごとの入出力のアダプタと共有の潜在空間を持つネットワークを,敵対的損失,サイクル一貫性,内積の関係を保つ項で学習する.Natural Questions のデータでは,変換後のベクトルと本物のベクトルのコサイン類似度が最大0.92に達した.

ただ,評価しているのは変換したベクトルが本物の近くに来るかどうかで,文書検索の成績は測っていない.RAG の移行にそのまま使えるかは分からない.この論文の主題はむしろセキュリティで,ベクトルだけが流出しても,別のモデルの空間に写して文書の属性を推定したり,内容を一部復元したりできることを示している.ベクトルデータベースの中身も,元の文書と同じくらい慎重に扱う必要がある.

Dual Index + Lazy Migration

写像だけでは新モデルの性能を引き出しきれないので,最終的には文書を新モデルで埋め直すことになる.問題は,それをサービスを止めずに,効果の大きい文書から少しずつ進められるかだ.基本の流れは次のようになる.

  1. 旧インデックスを残したまま,空の新インデックスを作る.
  2. 新しく追加された文書と更新された文書は新モデルで埋め込み,新インデックスに入れる.
  3. 既存の文書は裏で少しずつ新モデルで埋め直し,新インデックスに移す.
  4. 質問が来たら両方のインデックスを検索して,結果をマージする.
  5. 全件を移し終えたら,旧インデックスと旧モデルを捨てる.

データベースのスキーマ変更でも似たことをやっている.Google の F1 は,スキーマの変更を互換な中間状態に分けて,サービスを止めずに非同期で適用した(Rae ら,VLDB 2013)[17].BullFrog(Bhattacherjee ら,SIGMOD 2021)[18]は,スキーマを論理的には一度に切り替えて,各行はトランザクションが実際に触ったときに初めて物理的に移す.どの行もちょうど1回だけ移すことを保証している.RAG なら,検索で引かれた文書や更新された文書から埋め直すことになる.

マージの方法

2つのインデックスの結果の混ぜ方は,Seo ら(2023)[15] の Online Backfilling の論文が詳しい.この論文は,オンラインで backfilling を進めるときの条件として,更新したらすぐに配備できること,埋め直しが進むほど性能が単調に上がって negative flip が出ないこと,最終的な性能が全件を埋め直してから切り替えた場合以上になること,を挙げている.

いちばん単純なのは distance rank merge で,新旧のシステムをそれぞれ独立に検索して,距離が小さいほうの結果を返す.旧モデルを ϕold\phi_\text{old},新モデルを ϕnew\phi_\text{new},まだ埋め直していない文書の集合を GoldG_\text{old},埋め直した文書の集合を GnewG_\text{new} とすると,次の2つを比べることになる.

gm=arg⁡min⁡g∈Golddist(ϕold(q),ϕold(g)),gn=arg⁡min⁡g∈Gnewdist(ϕnew(q),ϕnew(g))g_m = \mathop{\arg\min}_{g \in G_\text{old}} \mathrm{dist}(\phi_\text{old}(q), \phi_\text{old}(g)), \qquad g_n = \mathop{\arg\min}_{g \in G_\text{new}} \mathrm{dist}(\phi_\text{new}(q), \phi_\text{new}(g))

dist(ϕold(q),ϕold(gm))<dist(ϕnew(q),ϕnew(gn))\mathrm{dist}(\phi_\text{old}(q), \phi_\text{old}(g_m)) < \mathrm{dist}(\phi_\text{new}(q), \phi_\text{new}(g_n)) なら gmg_m を,そうでなければ gng_n を返す.新旧のモデルが互換である必要はない.ImageNet-1K と Places-365 の実験では,これだけで埋め直しが進むほど性能が単調に上がり,negative flip も出なかった.ただ,単調に上がるのは実験で確かめただけで,証明があるわけではない.

弱点は2つある.質問を新旧両方のモデルで埋め込まないといけないことと,別々のモデルが出す距離をそのまま比べていることだ.距離の尺度がそろっている保証はない.論文は前者に対して,新しい質問ベクトルを旧空間に写す小さなネットワーク ψ\psi を学習した.ψ(ϕnew(q))\psi(\phi_\text{new}(q)) を旧システムの質問ベクトルに使えば,質問の埋め込みは新モデルの1回で済む.後者に対しては,新旧のシステムをまたいだ負例も対照学習の分母に入れて,2つのシステムの距離を直接比べられるようにした(metric-compatible contrastive learning).二重インデックスでも,結局2つの空間をつなぐ写像が出てくる.

この論文は v1(2023年1月)と v2(2024年12月)で題名が変わっていて,v2 は "Metric Compatible Training for Online Backfilling in Large-Scale Retrieval" になっている.

埋め直す順番

Jaeckle ら(ICLR 2023)[16] の FastFill は,インデックスを1つだけ使う.まず旧ベクトルを全件,学習した写像 hh で新空間に写しておき,質問は常に新モデルで埋め込む.まだ埋め直していない文書は旧ベクトルを写したもので,埋め直した文書は本物の新ベクトルで引くので,マージは要らない.

工夫は,写像 hh を学習するときに文書ごとの誤差の大きさ σ2\sigma^2 も一緒に予測させて,σ2\sigma^2 が大きい文書,つまり写像では新ベクトルを再現しにくい文書から先に埋め直すところだ.学習の損失は,変換後のベクトルと新ベクトルの二乗誤差に,変換後のベクトルに新モデルの分類器を当てたときの損失を足したものを,σ2\sigma^2 で重みづけしている.σ2\sigma^2 は旧ベクトルだけから計算できるので,埋め直す前に順番を決められる.ImageNet のテストデータでは,予測した σ2\sigma^2 の順位と実際の誤差の順位の Kendall の順位相関が0.67だった.

評価も移行の途中を重視していて,埋め直した割合を横軸,検索性能を縦軸にとった曲線(backfilling curve)の下の面積で比べる.割合を0から1まで動かしたときの平均の性能のことだ.この指標の mAP は,FCT と比べて ImageNet で4.4ポイント,Places-365 で2.7ポイント,VGGFace2 で1.3ポイント高かった.写像が苦手な文書から埋め直すと,同じ作業量でも性能が早く上がる.

ANN インデックスの更新

Lazy Migration では,新インデックスへの挿入と旧インデックスからの削除が長い期間にわたって大量に続く.定期的にインデックスを建て直す運用だと,そのたびに資源を使い,建て直しの前後で遅延と精度が揺れる.FreshDiskANN(Singh ら,2021)[19]は,グラフ型の ANN インデックスへの挿入と削除を,検索の質を落とさずにすぐ反映する方法を示した.SPFresh(Xu ら,SOSP 2023)[20]は,ベクトルの分割を局所的に組み直す LIRE というプロトコルで,インデックスを建て直さずにその場で更新する.移行が長引くほど,こういう更新に強いインデックスが欲しくなる.

ベクトルデータベースの機能

主なベクトルデータベースには,二重インデックスを組むための機能がすでにある.Qdrant [22] は1つの点に複数の名前付きベクトルを持たせられて,1.18 からは名前付きベクトルで作ったコレクションに,作り直さずに新しい名前付きベクトルを足せる.コレクションの別名(alias)の付け替えは,複数の操作を1回のリクエストで原子的に行える.Weaviate [23] もコレクションを作ったあとに新しい名前付きベクトルを足せる.Elasticsearch [24] の alias も複数の操作を原子的に適用でき,公式ドキュメントに停止せずに再インデックスするやり方が書いてある.

同じ点に新旧のベクトルを両方持たせておけば,移行中も旧インデックスは全件がそろったまま残るので,マージがうまくいかなかったら旧モデルの結果だけに戻せる.ただし Qdrant で同じ ID の点を新しいベクトルだけで upsert すると,点全体が置き換わって古いほうのベクトルが消える.片方だけ書き換えるときは,ベクトルを部分的に更新する API を使う.

RAG でどう組むか

読んだ論文をもとに,API の埋め込みモデルを使う RAG での組み方を考えた.大きく分けると次の3つの型になる.

型手順埋め直しマージ移行中の質
A. 質問側の写像だけ新モデルの質問を gg で旧空間に写し,旧インデックスを引くしない要らない旧モデルの文書ベクトルの情報量まで
B. 単一インデックス旧ベクトルを hh で新空間に写してインデックスを作り,順に本物の新ベクトルに置き換える少しずつ要らない変換の質から始まり,置き換えに応じて上がる
C. 二重インデックス旧インデックスを残し,新インデックスに少しずつ移す少しずつ要る旧モデルの質から始まり,移行に応じて上がる

A は Drift-Adapter,B は Embedding-Converter と FastFill,C は Online Backfilling を RAG に持ってきたものだ.

A なら質問の埋め込みに旧モデルが要らないので,旧モデルの提供終了が迫っているときに,すぐ旧モデルから離れられる.移行中に追加された文書も,新モデルで埋め込んでから gg で旧空間に写せば,同じ写像で旧インデックスに入れられる.

B と C は,どちらも最後には全件を新モデルで埋め直す.違うのは途中の扱いだ.B はインデックスが新空間の1つだけなので検索の経路が単純で,マージを考えなくていい.その代わり,最初に変換したベクトルで ANN インデックスを1回作り直す必要がある.それでも,テキストを埋め込み直すことに比べれば,ベクトルに MLP を掛けてインデックスを作るほうがずっと安い.C は旧インデックスに手を付けないので,いつでも移行前に戻せる.その代わり,2つの結果の混ぜ方を決めないといけない.

C のマージとリランカー

ここと次の節の話は,論文では検証されていない.

RAG の検索は,埋め込みで候補を数十件から数百件取ってきて,クロスエンコーダなどのリランカーで並べ直す2段の構成になっていることが多い.この構成なら,二重インデックスのマージはそれほど難しくない.各インデックスから候補を取って和集合をリランカーに渡せば,最終的な順位はリランカーが質問と文書のテキストから決める.新旧のモデルの距離の尺度がそろっているかを気にしなくていい.Online Backfilling の論文が学習で解いていた距離の較正の問題を,すでにある部品で避けられる.

リランカーがないときに,Reciprocal Rank Fusion(Cormack ら,SIGIR 2009)[21]で順位を融合するのは注意したほうがいい.RRF は各リストの順位しか見ないので,移行の初めに新インデックスに全体の5%しか入っていなくても,2つのリストの上位を同じ重みで交互に並べてしまう.各文書が新旧どちらか一方のインデックスにしかないなら,それぞれのインデックスに入っている文書の割合で重みを変えるか,Online Backfilling のように距離を較正して比べたほうがいい.

埋め直す順番の決め方

FastFill と Hot-Refresh は,写像が苦手な文書や不確かさの大きい文書から埋め直すと,同じ作業量で性能が早く上がることを示した.RAG には,順番を決める手がかりがほかにもある.更新された文書はどのみち埋め込み直すので,その時点で新モデルを使えばいい.検索でよく引かれる文書は,BullFrog が触れた行から移すのと同じ考え方で,検索ログを見て先に移す.写像の誤差が大きい文書は,FastFill のように旧ベクトルから誤差を予測するモデルで見つける.写像の学習に使ったペアの誤差から誤差の大きい分野を見つけて,その分野の文書を先に移してもいい.

写像の学習データ

Drift-Adapter は文書だけのペアで写像を学習していたが,質問側の写像を実際に当てるのは質問のベクトルだ.質問は文書のチャンクより短いし,分布も違う.Embedding-Converter が学習データに MS MARCO の質問を約50万件入れていたのも,質問の分布を覆うためだった.自分で写像を作るなら,チャンクに加えて検索ログの質問も新旧両方で埋め込んで,ペアに入れておくとよい.

ペアの数はそれほど要らない.Drift-Adapter では5,000ペアで ARR が0.97を超えたし,Maystre らは10,000件の文書で直交写像を学習していた.API の料金で考えれば,全件を埋め直す費用と比べてほとんど無視できる.

評価

移行の前と途中と後で,正解つきの質問セットでの nDCG や Recall を測っておきたい.ARR のように新モデルの結果をどれだけ再現したかではなく,正解の文書を引けたかで測る.あわせて,旧モデルで正解を引けていた質問のうち引けなくなったもの,つまり negative flip の割合も見ておく.平均が上がっていても,よく使われる質問が引けなくなれば,使う側には劣化に見える.

差分更新が効かない場合

チャンクの切り方を変えるなら,ここまでの方法はどれも使えない.写像は同じ文書の新旧のベクトルを対応づけるものなので,文書の単位が変わると対応させるペアがなくなる.モデルの更新とチャンクの切り直しを同時にやると,差分で移行する余地はなくなる.新モデルで扱える入力が長くなったのでチャンクを大きくしたい,という場合も同じで,切り直した時点で全件の埋め直しになる.

何度も乗り換える場合

写像で移行を済ませたつもりでいると,次に乗り換えるときに写像が2段に重なる.Drift-Adapter は写像を連ねたときの誤差を調べていないし,BC-Aligner はまさにその誤差を損失に入れて抑えていた.写像は移行期間のつなぎと割り切って,B か C で全件を埋め直したら外しておけば,写像が連なることはない.

状況ごとの選び方

状況方法
旧モデルの提供が終わるまず A ですぐに旧モデルから離れ,そのあと B か C で埋め直す
同じ系統のモデル(同じ会社の新しいバージョンなど)に替えるB.写像の質が比較的高く,移行の初めから旧モデルより良くなる
系統の大きく違うモデルに乗り換えるC とリランカー.写像の質が低いので,旧モデルの結果を残したまま移す
埋め込みモデルを自前で学習しているBCT や RACT で互換に学習し,新旧が混ざったインデックスのまま移す(Hot-Refresh)
乗り換える価値があるか分からないEmbedding-Converter のような写像か,一部の文書だけの埋め直しで試算してから決める
チャンクの切り方も変える差分更新はできないので,全件を埋め直す

参考文献

新モデルを互換に学習する

Embedding Space Alignment

Dual Index + Lazy Migration

ベクトルデータベースのドキュメント