検索エンジンOSS勉強会 meetup#1 ( 2024/03/11 ) での発表資料

hotchpotch is 誰

• @hotchpotch / セコン / Yuichi Tateno
  • https://secon.dev/
  • 自由業(一人法人), ソフトウェアエンジニア, Kaggle Competiton Master🥇🥇🥈🥈

• 最近

  • 趣味でも仕事でも、AIアプリケーションのプロダクトあれこれ作ってます
    • プライベートデータを組み合わせる場合、結局検索が超大切
      • LLMに、いかに良い感じに情報を与えられるか
    • 👉 そのため、検索周りを改善中
  • RAGる時の手軽な改善指標が無かったので、汎用的なデータセットを作成しました

  hotchpotch/JQaRA · Datasets at Hugging Face

Vespa って何?

• 米Yahoo! が社内で作っていた検索エンジン、2017ごろOSSに。

  Vespa - data + AI, online

• 今は会社が分かれて開発中

• Elasticsearch / Opensearch が、検索技術がよくわからなくても手軽に使える一方、Vespa は検索技術を理解していないと、そもそも使うことすら難しい（イメージ）

  • 反面、検索技術を理解している人が適切に使う場合、さまざまなことができる（イメージ）

• ちなみに私はVespa利用歴0日…!!

  • 詳しい人、ツッコミお願いします…

ColBERT って何？

• 情報検索(retrieve)がいい感じにできるモデルアーキテクチャ

• 論文を読むのが手っ取り早いです。実装もGitHubにあります。

  ColBERT: Efficient and Effective Passage Search via Contextualized...

  ColBERTv2: Effective and Efficient Retrieval via Lightweight Late...

• 論文のv2は性能向上と高速化のための、主に蒸留と情報圧縮の話。コアなアルゴリズムはv1。

• 何をしているかは、この二つを押さえればOK

  • query / passage(doc) を encodeして、HEAD の token の cosine sim (正規化した内積)の max を取って、スコアとする
  • tokenごとに文章の特徴が含まれるので、query と passage のtokenでどれだけ関連度合いがあるかを見る。その相和が MaxSim というスコアで、スコアが高いほど関連が高いとみなす。

  

  

• https://colbert.aiserv.cloud/

  • 実際に query / passage の関連性をブラウザ上で確認できるデモ
    • なお、onnx + transformers.js で実装されている

• 注意: GitHub のオフィシャル実装は、なかなか頑張って書いた感があるコードなので、読み砕いたり、再利用が大変 🤔

  • https://github.com/stanford-futuredata/ColBERT