検索エンジンOSS勉強会 meetup#2 ( 2024/04/25 ) での発表資料

hotchpotch is 誰

@hotchpotch / セコン / Yuichi Tateno
- https://secon.dev/
- 自由業(一人法人), ソフトウェアエンジニア, Kaggle Competiton Master🥇🥇🥈🥈

Untitled

前回

Vespa の ColBERT 実装をツマミ読んで得られた知見 - そもそも Vespa や ColBERT とは?
最近
- 趣味でも仕事でも、AIアプリケーションのプロダクトあれこれ作ってます
  - プライベートデータを組み合わせる場合、結局検索が超大切
    - LLMに、いかに良い感じに情報を与えられるか
  - 👉 そのため、検索周りを改善中
- ついにvespa使い出しました
OSS(というかモデル作成)活動
- 日本語 Reranker モデルを学習させて作成
  
  日本語最高性能のRerankerをリリース / そもそも Reranker とは? - A Day in the Life
  - ちなみに onnx に変換することで、vespa 上で直接rerankerモデルでrarenkingに使えます(試し済)
- Vespaで動く、マルチリンガルなonnxモデルが足りてないので作成
  - https://huggingface.co/models?search=vespa-onnx
- Vespa + onnx fp16 がバグっていたので、直してもらいました
  - https://github.com/vespa-engine/vespa/issues/30741

Vespa の Multi-Vector HNSW の実装を読む

そもそも、Multi-Vector って？
- 1つのdocumentに対して、例えば複数画像や複数chunkが関連づけられている
- そのため、それらをいい感じに検索したい
  - とりわけ、長い文章をchunkに分割して検索するユースケースが増えている
- chunk ごとに、document のfieldを持つのは非効率
- doc.category == 1 かつ、doc.chunks の embeddings が query に近いものをとって来たい、みたいなことがたくさんありますよね。
vespa の場合

Revolutionizing Semantic Search with Multi-Vector HNSW Indexing in Vespa
- docのfieldsにarrayでchunkを持ち、それを検索する
- HNSW の実装ではdocid(親) と nodeid(子) を持っていて、nodeid の方を探索する
  - multi vector hnsw が入るまでは、node のみでdocidは無かった
実装のPR
- https://github.com/vespa-engine/vespa/commit/e2c7b0f200a65dd9c74a9a70d6cc37f1bccb11fb
  - なお、URL最後に .patch をつけると raw patch 形式になります便利
- claude3 opus にコードリーディングしてもらう
  - https://claude.ai/chat/6bc49f5b-7d73-477b-850e-4592dc5c8bb0
  - claudeはshare link作れないのでこちらにも
- ざっくり見た感じ
  - そんなにソースコードに差分なく実装している
  - singleだとdocid == nodeid になる、つまりmultiの必ずnode数が1つとすることで、無駄なく実装できる
    - パフォーマンス的な処理は入れているが
  - multi 時には、docid をチェックしつつ、よしなに探索を行う
他に面白いなーと思った点
- マッチした node 以外のデータもスコア付される。この結果ではparagraphs[”4”] が一番マッチしているが、他のparagraphの類似度も出ているため、特定の閾値以上は利用する、みたいなことも可能