如果你照著前面的〈從 RAG 開始〉把知識庫接起來了,卻發現問「退款規則」它回你「退貨流程」、問題稍微換個說法就答不出來——問題多半不在模型,而在「檢索」這一層。今天我們把 RAG 裡最容易被一筆帶過的向量資料庫(Vector Database)單獨攤開來講:它怎麼存、怎麼找,以及怎麼讓「找對資料」這件事穩定下來。
一、關鍵字搜尋的盲點:為什麼需要「語意」檢索
傳統資料庫用 LIKE 或全文索引,比對的是「字有沒有出現」。但使用者問「怎麼把錢拿回來」,文件裡寫的卻是「退款申請」——字面不同、意思相近,關鍵字搜尋就直接漏接。向量資料庫的做法是:先把每一段文字丟進 Embedding 模型,變成一串數字(例如 384、768 或 1536 維的向量),語意相近的句子,向量在空間裡的位置也靠近。查詢時把問題也轉成向量,再找出「最接近的幾段」。
- Embedding: 把文字變成向量的模型,寫入與查詢必須用同一個,否則空間對不起來。
- 相似度: 常用餘弦相似度(Cosine),只看方向不看長度,對文字長短比較不敏感。
- topK: 取最像的前 K 段丟給模型當參考資料,K 太小會漏、太大會塞進雜訊。
二、向量資料庫比你我想的多做了三件事
把幾千筆向量用 for 迴圈逐一算距離還行,但到了幾十萬、幾百萬筆就撐不住。向量資料庫真正的價值在索引與過濾,而不只是「存向量」:
- 近似最近鄰(ANN)索引: 像 HNSW 用圖結構先粗找再細找,用一點點精確度換來數量級的速度,這是它跟自己寫迴圈算距離最大的差別。
- Metadata 過濾: 先依年份、部門、文件類型縮小範圍再算相似度,避免撈到「別的產品的退款規則」。
- 持久化與增量更新: 文件改版時只需重算受影響的區塊,不必整庫重灌。
三、實戰:用 Chroma 建一個可過濾的知識庫
底下用 Python 的 Chroma(本機就能跑,適合先練手),示範寫入、查詢、混合檢索三段。
步驟 1:建立 collection 並寫入切塊後的文件
import chromadb
from chromadb.utils import embedding_functions
# 寫入與查詢務必用同一個 Embedding 模型
emb = embedding_functions.SentenceTransformerEmbeddingFunction(
model_name="all-MiniLM-L6-v2"
)
client = chromadb.PersistentClient(path="./kb")
col = client.get_or_create_collection(
name="faq", embedding_function=emb,
metadata={"hnsw:space": "cosine"} # 指定餘弦相似度
)
docs = [
"退款申請:訂單成立 7 天內可提出,款項約 5 個工作天退回原帳戶。",
"退貨流程:商品需保持完整,附上發票與原包裝寄回。",
"發票補發:可於會員中心自行下載電子發票。"
]
col.add(
ids=["d1", "d2", "d3"],
documents=docs,
metadatas=[
{"type": "退款", "year": 2026},
{"type": "退貨", "year": 2026},
{"type": "發票", "year": 2025},
],
)
步驟 2:查詢,並用 metadata 先過濾再取 topK
# 先過濾、再取 topK:只找 2026 年的文件
res = col.query(
query_texts=["怎麼把錢拿回來?"],
n_results=2,
where={"year": 2026},
)
for doc, dist in zip(res["documents"][0], res["distances"][0]):
print(round(dist, 3), doc)
# 餘弦距離越小越像;字面不同但語意相近的句子也能被撈到
步驟 3:混合檢索 + 重排序,補關鍵字的短腿
純向量對「產品型號、錯誤代碼、人名」這種精確字串反而偏弱。實務上會把向量檢索與關鍵字(BM25)的結果取聯集,再交給 rerank 模型重排,把最相關的幾段推到最前面。
# 混合檢索:向量 + 關鍵字取聯集,去重後再重排
def hybrid_search(q, k=5):
vec_hits = col.query(query_texts=[q], n_results=k)["documents"][0]
kw_hits = bm25_index.search(q, k) # 精確字串靠這路補
candidates = list(dict.fromkeys(vec_hits + kw_hits)) # 保序去重
return rerank(q, candidates)[:k] # rerank 模型重排
# bm25_index 與 rerank 可換成任一套關鍵字索引 / 重排服務
重點: 先過濾、再檢索、最後重排序,這個順序別顛倒。若先取了 topK 才過濾,K 個名額很可能全被不相關的資料佔滿,等於白做工。
四、最容易踩的三個坑
- 切塊(chunk)太大或太小: 太大塞進一堆雜訊,太小又切斷語意。先從 300~500 字、重疊 50 字起,再用真實問題回測調整。
- 寫入與查詢用了不同 Embedding 模型: 維度或語意空間不一致,結果會整個歪掉,換模型就必須整庫重建。
- 只看相似度分數不看內容: 一定要把撈出來的原文印出來人工抽檢,分數高不代表答得對。
特別注意: 向量資料庫不是來取代原本的關聯式資料庫,而是補上「語意搜尋」這一塊。訂單、權限、金額這些要求精確與交易保證的資料,仍然該留在原本的資料庫裡。
把檢索這層顧好,你會發現很多「模型不夠聰明」的問題,其實是「根本沒把對的資料餵進去」。模型只是最後一步,地基穩了,答案自然穩。
互動話題: 你在做知識庫或 RAG 時,最常遇到的是「撈不到」還是「撈錯」?你的切塊大小與 topK 又是怎麼決定的?歡迎在下面留言分享,我們一起把檢索調準。