從 Prompt Caching 開始:用快取與上下文復用讓大模型應用又快又省實戰指南

如果你已經照著前面的文章把大模型接進應用、掛上工具、也接了知識庫,接下來第一個撞上的問題,通常不是「模型不夠聰明」,而是「這個月帳單怎麼長這樣」,以及「為什麼每次都要等個兩三秒」。這兩個問題其實同源:每一輪對話,你都把同一大包內容重新送了一次。今天就來談 Prompt Caching(提示詞快取)與上下文復用,把重複付的錢和重複等的時間省下來。

一、為什麼同一段內容一直在重複付錢

先算一筆帳。API 是按 token 計費的,輸入也照算錢。一輪典型的 RAG 問答,送進去的東西大概是這幾包:

  • System Prompt 與輸出格式規定
  • 工具定義(Function Calling 的 tools 陣列,呼應 520)
  • 向量資料庫撈回來的長文檔片段(呼應 518、549)
  • 歷史對話或摘要(呼應 530 記憶管理)
  • 使用者這一輪真正的問題

前四包常常佔了八成以上的輸入 token,而且每一輪幾乎一模一樣。延遲也是同一個道理:模型得把這段長前綴重新做一次 prefill,問題明明只有十幾個字,卻要等整包算完才開始回。

重點:你不是在為「新問題」付錢,而是在為「每次都重貼一次的老資料」付錢。想省,就得讓模型認得出「這段我算過」。

二、三種快取,解決的是不同層次的問題

  • 供應商前綴快取(Prompt Caching):模型服務商把「完全相同的前綴」算過的狀態存起來,下次直接複用。你不必改商業邏輯,只要把 Prompt 排成「穩定前綴 + 變動尾巴」,並在斷點上做標記。
  • 應用層精確快取:同一個問題字串直接回上一次答案,連 API 都不打。適合 FAQ、固定報表、規格查詢。
  • 語義快取(Semantic Cache):把問題做成 embedding,用向量庫找相似問題再復用答案(正好接上 549)。省得最多,也最危險,後面會講。

三者可以疊著用:先擋精確重複,再讓供應商快取前綴,最後才考慮語義快取。別一開始就上最複雜的那個。

三、實戰四步驟

步驟 1:重排 Prompt,把「會變的」擠到最後。

// ❌ 常見寫法:每輪都把變動資訊塞在最前面
const messages = [
  { role: "system", content: `現在時間 ${new Date().toISOString()}\n` + SYSTEM_PROMPT },
  { role: "user", content: question }
];

// ✅ 調整後:穩定前綴在前,變動尾巴在後
const messages = [
  { role: "system", content: SYSTEM_PROMPT },        // 固定
  { role: "user",   content: longDocument },         // 固定(同一份文件)
  { role: "user",   content: question }              // 每輪才變
];

工具定義、System Prompt、長文檔放前面且順序固定;使用者問題與當輪時間放最後。

特別注意:不要在前綴裡放時間戳、隨機 id 或使用者名稱。只要前面一個字變了,後面整段快取就全部失效——這是最常見、也最難查的效能 bug。需要時間資訊,放到最後一輪訊息裡,或用固定粒度的日期字串。

步驟 2:標記快取斷點。以下為 Anthropic 風格的相容格式示意;OpenAI 相容服務多採自動前綴快取,不必手動標記,但同樣要求前綴穩定。各家欄位名稱、最低前綴長度與存活時間都不同,請以該服務官方文件為準。

// 後端代理(/api/chat),金鑰永遠不進前端 —— 呼應 511
const systemBlocks = [
  { type: "text", text: SYSTEM_PROMPT },
  { type: "text", text: longDocument,
    cache_control: { type: "ephemeral" } }   // 標記快取斷點
];

const res = await fetch("/api/chat", {
  method: "POST",
  headers: { "Content-Type": "application/json" },
  body: JSON.stringify({
    system: systemBlocks,
    tools: TOOL_DEFINITIONS,                  // 順序固定,別每輪重新組
    messages: [{ role: "user", content: question }]  // 變動的放最後
  })
});

斷點要放在「最長且最不常變」那一段的尾端。放到太前面,後面變動的對話仍會被算進快取範圍之外,省不到多少。

重點:金鑰一律走後端代理(呼應 511 接模型那篇),千萬別為了「少一次請求」把 API 金鑰搬到前端直接打。

步驟 3:加一層應用層精確快取。

import crypto from "node:crypto";
const cache = new Map();   // 生產環境換 Redis,並設 TTL 與容量上限

function keyOf(parts) {
  return crypto.createHash("sha256")
    .update(JSON.stringify(parts)).digest("hex");
}

async function ask(question, doc, docVersion) {
  const key = keyOf({
    promptVersion: "v3",          // 改 Prompt 就手動升版
    model: "gpt-4o-mini",         // 換模型也要進鍵
    docVersion,                   // 文件一改,舊答案自動失效
    system: SYSTEM_PROMPT,
    doc,
    question
  });
  if (cache.has(key)) return { ...cache.get(key), cached: true };

  const answer = await callLLM({ system: SYSTEM_PROMPT, doc, question });
  cache.set(key, answer);
  return { ...answer, cached: false };
}

重點:快取鍵一定要包含 promptVersion、model 與文件版本。改了 Prompt 或換了模型卻沿用舊鍵,等於拿舊程式的答案冒充新結果;上游文件更新後沒換 docVersion,就會一直回舊資料(這就是快取污染)。

步驟 4:驗證真的省到了,別用感覺。

const payload = await res.json();
const u = payload.usage || {};
// 各家欄位命名不同,以官方文件為準:
// cache_read_input_tokens / cache_creation_input_tokens / prompt_tokens_details.cached_tokens
const read = u.cache_read_input_tokens ?? u.prompt_tokens_details?.cached_tokens ?? 0;
const fresh = u.input_tokens ?? 0;
const hitRate = read / (read + fresh || 1);
console.log("前綴命中率", (hitRate * 100).toFixed(1) + "%");

把命中率、平均延遲、每輪輸入 token 接進你的監控看板(呼應 505 自建監控 SDK、528 評估與上線紀律)。有兩個細節:首次請求是在「建立」快取,通常沒有折扣甚至略有加成,別拿第一筆當結論;快取也有存活時間,閒置久了會失效,所以低流量的應用可能永遠吃不到好處。各家折扣幅度與門檻請查官方定價頁,本文不列具體數字。

四、三個最容易踩的坑

  • 語義快取把「相似」當成「相同」:「我今天該買什麼」和「我昨天該買什麼」向量很近,答案卻可能完全相反。凡是含時效、金額、個人資料、帳務狀態的問題,一律跳過語義快取;相似度閾值要從嚴,命中後最好再把原始問題交給模型確認一次。
  • 快取污染與隱私:A 使用者的問答被 B 命中,是語義快取最嚴重的事故。快取鍵必須帶上租戶/使用者識別,共用快取只放公開且無個資的內容。
  • 為了省錢把上下文砍光:快取省的是「重算」,不是「省略」。該給模型的背景、該留的記憶(530)一個都不能少,否則省了錢、賠了品質,反而要花更多輪重問。

何時不必用:流量很低、每次問題都獨一無二、或前綴短到達不到供應商最低門檻時,先別急著加這層複雜度——把 528 的測試集與監控做好,投資報酬率通常更高。

把成本和延遲當成跟正確率一樣的可觀測指標,你會發現很多「模型不夠快」的問題,其實只是「我們一直重複貼同一段字」。特別注意:省錢之前先量測,優化之後再量一次。

互動話題:你的 AI 應用裡,最該被快取的那一大包是 System Prompt、工具定義,還是 RAG 撈回來的長文檔?你有沒有遇過「改了一個字,快取全失效」的慘案?歡迎留言聊聊你的調校經驗!