ベクトルストア構築

この回のゴール

• 文書コレクションを 埋め込みベクトル に変換して保存する
• FAISS で大規模ベクトル検索を実装する
• Top-k 検索 で関連文書を自動で取り出す
• 検索結果の 質 を自分で評価できるようになる

1. 全体像 — インデックスと検索

Q: 太郎は 3 個のリンゴを持っている。そこに花子が 7 個くれた。合計は?
A: 10 個

2. 埋め込みモデルの選び方

2026 年時点でよく使われるモデル:

注意: Claude API 自体は埋め込み専用 API を提供していません(2026 年現在)。RAG の検索部分は別途用意します。

3. FAISS — なぜベクトル DB が必要か

ナイーブ実装(小規模向け)

Q: 太郎は 3 個のリンゴを持っている。そこに花子が 7 個くれた。合計は?
A: 太郎は最初に 3 個持っていた。花子から 7 個もらったので、3 + 7 = 10。答えは 10 個。

• 文書数 N が小さい(〜1 万)なら問題なし
• 大規模では遅くなる

FAISS の役割

• 大量のベクトルを高速検索(100 万件で数ミリ秒)
• 近似最近傍探索 (IVF, HNSW) で $O(\sqrt{N})$ や $O(\log N)$
• 正確検索(IndexFlatIP, IndexFlatL2)も可能

Thought:    「太郎が持ってる数を知る必要がある」
Action:     lookup_person(name="太郎")
Observation: "太郎: リンゴ 3 個"
Thought:    「次は花子がくれた数」    ← 観測を踏まえて次の思考
Action:     lookup_transaction(...)
Observation: "花子 → 太郎: 7 個"
Thought:    「これで計算できる」
Action:     calculator(expression="3+7")
Observation: "10"
Thought:    「答えは 10 個」
Answer:     10 個

4. メタデータと組み合わせる

ベクトル DB は通常「ベクトル → ID」しか返しません。メタデータ は別途管理:

回答する前に必ず以下の手順で進めてください:

1. <thought> タグで何を考えているか書く
2. 必要なら tool を使う
3. 結果を踏まえて <thought> で次を考える
4. 十分な情報が揃ったら <answer> で答える

5. 正規化とコサイン類似度

response = client.messages.create(
    model="claude-sonnet-4-6",
    max_tokens=16000,
    thinking={"type": "enabled", "budget_tokens": 4000},   # 👈
    messages=[...],
    tools=[...],
)

for block in response.content:
    if block.type == "thinking":
        print("思考:", block.thinking)   # 👈 内部思考が見える
    elif block.type == "tool_use":
        print("アクション:", block.name)

正規化すれば、内積 = コサイン類似度 になります:

$$ \cos(\vec{a}, \vec{b}) = \frac{\vec{a} \cdot \vec{b}}{|\vec{a}| |\vec{b}|} \xrightarrow{\text{正規化後}} \vec{a} \cdot \vec{b} $$

だから FAISS の IndexFlatIP(内積)が cos 類似度検索になります。

6. 検索品質の評価

• Recall@k: 本当に関連する文書が、top-k に含まれている割合
• Precision@k: top-k のうち関連文書の割合
• MRR (Mean Reciprocal Rank): 関連文書が何番目に出たか

7. Top-k の選び方

実務の定番は k=3〜5 です。

まとめ

• ベクトルストア(FAISS など)で 大量文書の高速類似検索 を実現
• 埋め込みベクトルを L2 正規化 すれば内積 = コサイン類似度
• メタデータは別管理(出典・更新日・カテゴリなど)
• 検索品質は Recall@k / Precision@k / MRR で評価
• 実務の定番は Top-3〜5

この回の限界(次への動機)

長文を「1 つの文書」としてそのまま埋め込むと、意味が平均化されて検索ヒットしない。長文をどう区切る? 👉 次回「チャンク分割戦略」で、固定長・段落・再帰・セマンティックの 4 戦略を比較します。

参考文献

• FAISS 公式ドキュメント
• sentence-transformers
• Reimers & Gurevych (2019) Sentence-BERT