從向量資料庫開始:用相似度檢索為 RAG 打好地基的實戰指南

如果你照著前面的〈從 RAG 開始〉把知識庫接起來了,卻發現問「退款規則」它回你「退貨流程」、問題稍微換個說法就答不出來——問題多半不在模型,而在「檢索」這一層。今天我們把 RAG 裡最容易被一筆帶過的向量資料庫(Vector Database)單獨攤開來講:它怎麼存、怎麼找,以及怎麼讓「找對資料」這件事穩定下來。

一、關鍵字搜尋的盲點:為什麼需要「語意」檢索

傳統資料庫用 LIKE 或全文索引,比對的是「字有沒有出現」。但使用者問「怎麼把錢拿回來」,文件裡寫的卻是「退款申請」——字面不同、意思相近,關鍵字搜尋就直接漏接。向量資料庫的做法是:先把每一段文字丟進 Embedding 模型,變成一串數字(例如 384、768 或 1536 維的向量),語意相近的句子,向量在空間裡的位置也靠近。查詢時把問題也轉成向量,再找出「最接近的幾段」。

  • Embedding: 把文字變成向量的模型,寫入與查詢必須用同一個,否則空間對不起來。
  • 相似度: 常用餘弦相似度(Cosine),只看方向不看長度,對文字長短比較不敏感。
  • topK: 取最像的前 K 段丟給模型當參考資料,K 太小會漏、太大會塞進雜訊。

二、向量資料庫比你我想的多做了三件事

把幾千筆向量用 for 迴圈逐一算距離還行,但到了幾十萬、幾百萬筆就撐不住。向量資料庫真正的價值在索引與過濾,而不只是「存向量」:

  • 近似最近鄰(ANN)索引: 像 HNSW 用圖結構先粗找再細找,用一點點精確度換來數量級的速度,這是它跟自己寫迴圈算距離最大的差別。
  • Metadata 過濾: 先依年份、部門、文件類型縮小範圍再算相似度,避免撈到「別的產品的退款規則」。
  • 持久化與增量更新: 文件改版時只需重算受影響的區塊,不必整庫重灌。

三、實戰:用 Chroma 建一個可過濾的知識庫

底下用 Python 的 Chroma(本機就能跑,適合先練手),示範寫入、查詢、混合檢索三段。

步驟 1:建立 collection 並寫入切塊後的文件

import chromadb
from chromadb.utils import embedding_functions

# 寫入與查詢務必用同一個 Embedding 模型
emb = embedding_functions.SentenceTransformerEmbeddingFunction(
    model_name="all-MiniLM-L6-v2"
)
client = chromadb.PersistentClient(path="./kb")
col = client.get_or_create_collection(
    name="faq", embedding_function=emb,
    metadata={"hnsw:space": "cosine"}   # 指定餘弦相似度
)

docs = [
    "退款申請:訂單成立 7 天內可提出,款項約 5 個工作天退回原帳戶。",
    "退貨流程:商品需保持完整,附上發票與原包裝寄回。",
    "發票補發:可於會員中心自行下載電子發票。"
]
col.add(
    ids=["d1", "d2", "d3"],
    documents=docs,
    metadatas=[
        {"type": "退款", "year": 2026},
        {"type": "退貨", "year": 2026},
        {"type": "發票", "year": 2025},
    ],
)

步驟 2:查詢,並用 metadata 先過濾再取 topK

# 先過濾、再取 topK:只找 2026 年的文件
res = col.query(
    query_texts=["怎麼把錢拿回來?"],
    n_results=2,
    where={"year": 2026},
)
for doc, dist in zip(res["documents"][0], res["distances"][0]):
    print(round(dist, 3), doc)
# 餘弦距離越小越像;字面不同但語意相近的句子也能被撈到

步驟 3:混合檢索 + 重排序,補關鍵字的短腿

純向量對「產品型號、錯誤代碼、人名」這種精確字串反而偏弱。實務上會把向量檢索與關鍵字(BM25)的結果取聯集,再交給 rerank 模型重排,把最相關的幾段推到最前面。

# 混合檢索:向量 + 關鍵字取聯集,去重後再重排
def hybrid_search(q, k=5):
    vec_hits = col.query(query_texts=[q], n_results=k)["documents"][0]
    kw_hits = bm25_index.search(q, k)            # 精確字串靠這路補
    candidates = list(dict.fromkeys(vec_hits + kw_hits))  # 保序去重
    return rerank(q, candidates)[:k]             # rerank 模型重排
# bm25_index 與 rerank 可換成任一套關鍵字索引 / 重排服務

重點: 先過濾、再檢索、最後重排序,這個順序別顛倒。若先取了 topK 才過濾,K 個名額很可能全被不相關的資料佔滿,等於白做工。

四、最容易踩的三個坑

  • 切塊(chunk)太大或太小: 太大塞進一堆雜訊,太小又切斷語意。先從 300~500 字、重疊 50 字起,再用真實問題回測調整。
  • 寫入與查詢用了不同 Embedding 模型: 維度或語意空間不一致,結果會整個歪掉,換模型就必須整庫重建。
  • 只看相似度分數不看內容: 一定要把撈出來的原文印出來人工抽檢,分數高不代表答得對。

特別注意: 向量資料庫不是來取代原本的關聯式資料庫,而是補上「語意搜尋」這一塊。訂單、權限、金額這些要求精確與交易保證的資料,仍然該留在原本的資料庫裡。

把檢索這層顧好,你會發現很多「模型不夠聰明」的問題,其實是「根本沒把對的資料餵進去」。模型只是最後一步,地基穩了,答案自然穩。

互動話題: 你在做知識庫或 RAG 時,最常遇到的是「撈不到」還是「撈錯」?你的切塊大小與 topK 又是怎麼決定的?歡迎在下面留言分享,我們一起把檢索調準。