如果你已經照著前面的文章把大模型接進應用、掛上工具、也接了知識庫,接下來第一個撞上的問題,通常不是「模型不夠聰明」,而是「這個月帳單怎麼長這樣」,以及「為什麼每次都要等個兩三秒」。這兩個問題其實同源:每一輪對話,你都把同一大包內容重新送了一次。今天就來談 Prompt Caching(提示詞快取)與上下文復用,把重複付的錢和重複等的時間省下來。
一、為什麼同一段內容一直在重複付錢
先算一筆帳。API 是按 token 計費的,輸入也照算錢。一輪典型的 RAG 問答,送進去的東西大概是這幾包:
- System Prompt 與輸出格式規定
- 工具定義(Function Calling 的 tools 陣列,呼應 520)
- 向量資料庫撈回來的長文檔片段(呼應 518、549)
- 歷史對話或摘要(呼應 530 記憶管理)
- 使用者這一輪真正的問題
前四包常常佔了八成以上的輸入 token,而且每一輪幾乎一模一樣。延遲也是同一個道理:模型得把這段長前綴重新做一次 prefill,問題明明只有十幾個字,卻要等整包算完才開始回。
重點:你不是在為「新問題」付錢,而是在為「每次都重貼一次的老資料」付錢。想省,就得讓模型認得出「這段我算過」。
二、三種快取,解決的是不同層次的問題
- 供應商前綴快取(Prompt Caching):模型服務商把「完全相同的前綴」算過的狀態存起來,下次直接複用。你不必改商業邏輯,只要把 Prompt 排成「穩定前綴 + 變動尾巴」,並在斷點上做標記。
- 應用層精確快取:同一個問題字串直接回上一次答案,連 API 都不打。適合 FAQ、固定報表、規格查詢。
- 語義快取(Semantic Cache):把問題做成 embedding,用向量庫找相似問題再復用答案(正好接上 549)。省得最多,也最危險,後面會講。
三者可以疊著用:先擋精確重複,再讓供應商快取前綴,最後才考慮語義快取。別一開始就上最複雜的那個。
三、實戰四步驟
步驟 1:重排 Prompt,把「會變的」擠到最後。
// ❌ 常見寫法:每輪都把變動資訊塞在最前面
const messages = [
{ role: "system", content: `現在時間 ${new Date().toISOString()}\n` + SYSTEM_PROMPT },
{ role: "user", content: question }
];
// ✅ 調整後:穩定前綴在前,變動尾巴在後
const messages = [
{ role: "system", content: SYSTEM_PROMPT }, // 固定
{ role: "user", content: longDocument }, // 固定(同一份文件)
{ role: "user", content: question } // 每輪才變
];
工具定義、System Prompt、長文檔放前面且順序固定;使用者問題與當輪時間放最後。
特別注意:不要在前綴裡放時間戳、隨機 id 或使用者名稱。只要前面一個字變了,後面整段快取就全部失效——這是最常見、也最難查的效能 bug。需要時間資訊,放到最後一輪訊息裡,或用固定粒度的日期字串。
步驟 2:標記快取斷點。以下為 Anthropic 風格的相容格式示意;OpenAI 相容服務多採自動前綴快取,不必手動標記,但同樣要求前綴穩定。各家欄位名稱、最低前綴長度與存活時間都不同,請以該服務官方文件為準。
// 後端代理(/api/chat),金鑰永遠不進前端 —— 呼應 511
const systemBlocks = [
{ type: "text", text: SYSTEM_PROMPT },
{ type: "text", text: longDocument,
cache_control: { type: "ephemeral" } } // 標記快取斷點
];
const res = await fetch("/api/chat", {
method: "POST",
headers: { "Content-Type": "application/json" },
body: JSON.stringify({
system: systemBlocks,
tools: TOOL_DEFINITIONS, // 順序固定,別每輪重新組
messages: [{ role: "user", content: question }] // 變動的放最後
})
});
斷點要放在「最長且最不常變」那一段的尾端。放到太前面,後面變動的對話仍會被算進快取範圍之外,省不到多少。
重點:金鑰一律走後端代理(呼應 511 接模型那篇),千萬別為了「少一次請求」把 API 金鑰搬到前端直接打。
步驟 3:加一層應用層精確快取。
import crypto from "node:crypto";
const cache = new Map(); // 生產環境換 Redis,並設 TTL 與容量上限
function keyOf(parts) {
return crypto.createHash("sha256")
.update(JSON.stringify(parts)).digest("hex");
}
async function ask(question, doc, docVersion) {
const key = keyOf({
promptVersion: "v3", // 改 Prompt 就手動升版
model: "gpt-4o-mini", // 換模型也要進鍵
docVersion, // 文件一改,舊答案自動失效
system: SYSTEM_PROMPT,
doc,
question
});
if (cache.has(key)) return { ...cache.get(key), cached: true };
const answer = await callLLM({ system: SYSTEM_PROMPT, doc, question });
cache.set(key, answer);
return { ...answer, cached: false };
}
重點:快取鍵一定要包含 promptVersion、model 與文件版本。改了 Prompt 或換了模型卻沿用舊鍵,等於拿舊程式的答案冒充新結果;上游文件更新後沒換 docVersion,就會一直回舊資料(這就是快取污染)。
步驟 4:驗證真的省到了,別用感覺。
const payload = await res.json();
const u = payload.usage || {};
// 各家欄位命名不同,以官方文件為準:
// cache_read_input_tokens / cache_creation_input_tokens / prompt_tokens_details.cached_tokens
const read = u.cache_read_input_tokens ?? u.prompt_tokens_details?.cached_tokens ?? 0;
const fresh = u.input_tokens ?? 0;
const hitRate = read / (read + fresh || 1);
console.log("前綴命中率", (hitRate * 100).toFixed(1) + "%");
把命中率、平均延遲、每輪輸入 token 接進你的監控看板(呼應 505 自建監控 SDK、528 評估與上線紀律)。有兩個細節:首次請求是在「建立」快取,通常沒有折扣甚至略有加成,別拿第一筆當結論;快取也有存活時間,閒置久了會失效,所以低流量的應用可能永遠吃不到好處。各家折扣幅度與門檻請查官方定價頁,本文不列具體數字。
四、三個最容易踩的坑
- 語義快取把「相似」當成「相同」:「我今天該買什麼」和「我昨天該買什麼」向量很近,答案卻可能完全相反。凡是含時效、金額、個人資料、帳務狀態的問題,一律跳過語義快取;相似度閾值要從嚴,命中後最好再把原始問題交給模型確認一次。
- 快取污染與隱私:A 使用者的問答被 B 命中,是語義快取最嚴重的事故。快取鍵必須帶上租戶/使用者識別,共用快取只放公開且無個資的內容。
- 為了省錢把上下文砍光:快取省的是「重算」,不是「省略」。該給模型的背景、該留的記憶(530)一個都不能少,否則省了錢、賠了品質,反而要花更多輪重問。
何時不必用:流量很低、每次問題都獨一無二、或前綴短到達不到供應商最低門檻時,先別急著加這層複雜度——把 528 的測試集與監控做好,投資報酬率通常更高。
把成本和延遲當成跟正確率一樣的可觀測指標,你會發現很多「模型不夠快」的問題,其實只是「我們一直重複貼同一段字」。特別注意:省錢之前先量測,優化之後再量一次。
互動話題:你的 AI 應用裡,最該被快取的那一大包是 System Prompt、工具定義,還是 RAG 撈回來的長文檔?你有沒有遇過「改了一個字,快取全失效」的慘案?歡迎留言聊聊你的調校經驗!