從 Agent 記憶管理開始:讓 AI 應用記得住對話與偏好的實戰指南

一、你的 Agent 不是失憶,是從來沒有記憶

如果你已經照著本站前幾篇把大模型接進應用(511 接模型、520 給工具),大概率遇過這個場景:用戶第三句話問「我剛剛說的預算是多少?」,模型一臉茫然,彷彿前面兩句從沒發生過。

先建立一個關鍵認知:LLM API 是無狀態的。每次請求,模型都是「第一次見到你」。它之所以看起來記得上一句,是因為你的後端把歷史 messages 原樣重發了一遍。所謂「對話記憶」,是應用層用 messages 陣列假裝出來的。

重點:記憶不是模型自帶的,是應用層用 messages 陣列「假裝」出來的。所以記憶管理本質上只有兩道題:第一,上下文視窗塞不下無限歷史,怎麼取捨?第二,跨會話該記住的東西,存哪裡、什麼時候注入?

二、先把問題拆開:三層記憶架構

一上來就做「AI 長期記憶系統」很容易過度設計。實務上把記憶拆成三層,每層問題不同:

  • 工作記憶:當前這一輪 Agent 迴圈裡的工具呼叫中間結果,用完即棄,不用持久化
  • 短期記憶:本會話的對話歷史,受上下文視窗約束,核心動作是「取捨與壓縮」
  • 長期記憶:跨會話的用戶偏好與事實,核心動作是「持久化 + 檢索注入」

注意它與 RAG(518)的分工:RAG 餵的是「你的文檔與知識庫」,而記憶層記的是「用戶和你的應用之間發生過什麼」。兩者共用向量檢索技術,但素材完全不同。

三、步驟 1:滑動視窗——最簡單的短期記憶

第一招最便宜:保留系統提示常駐,只保留最近 N 輪對話,其餘直接丟棄。

function trimHistory(messages, maxTurns = 10) {
  const system = messages.filter(m => m.role === "system");
  const rest   = messages.filter(m => m.role !== "system");
  // 一輪 = user + assistant 兩條
  const recent = rest.slice(-maxTurns * 2);
  return [...system, ...recent];
}

重點:系統提示永遠保留,只砍中間歷史,絕不能砍掉 user 的最後一句——那是要回答的問題。

滑動視窗的坑也很直白:前面說過的關鍵約定(預算、規格、偏好)會被硬砍掉。所以需要第二招補位。

四、步驟 2:摘要壓縮——把舊對話濃縮成一段

當歷史超過閾值(比如 20 輪,或粗估 token 快到上限),先發一次「摘要請求」,把舊對話濃縮成一段文字,替代原始歷史塞回 messages:

async function compressHistory(messages) {
  const KEEP = 6; // 最近 3 輪保留原文
  const old  = messages.filter(m => m.role !== "system").slice(0, -KEEP);

  const summary = await callLLM([
    { role: "system", content:
      "請把以下對話濃縮成要點摘要。必須保留:所有數字、已達成的約定、未完成事項。" },
    { role: "user", content: JSON.stringify(old) }
  ]);

  return [
    ...messages.filter(m => m.role === "system"),
    { role: "system", content: "以下是稍早對話的摘要:" + summary },
    ...messages.filter(m => m.role !== "system").slice(-KEEP)
  ];
}

重點:摘要指令必須明確要求保留「數字、承諾、未完成事項」,否則模型摘要時會把最關鍵的細節當雜訊丟掉。

成本上這招完全划算:摘要用便宜的小模型跑一次,換來之後每一輪請求都少帶幾千 token。

五、步驟 3:長期記憶——把偏好存下來,開場注入

跨會話記憶的思路:對話告一段落時,用一次 LLM 呼叫從對話中抽取「值得長期記住的事實」,存成 JSON 檔;下次會話開場,把它們併進系統提示。

// memory.json 示例:
// { "facts": ["用戶偏好多語言介面", "專案技術棧是 Vue3 + Vben"] }

async function extractMemory(messages) {
  const res = await callLLM([
    { role: "system", content:
      "從對話中提取值得長期記住的用戶偏好與事實," +
      "以 JSON 字串陣列輸出;沒有就輸出 []" },
    { role: "user", content: JSON.stringify(messages) }
  ]);
  const facts = JSON.parse(res);
  memory.facts.push(...facts);
  fs.writeFileSync("memory.json", JSON.stringify(memory, null, 2));
}

function loadMemoryIntoSystem(memory) {
  return "你已知道的用戶背景:\n- " + memory.facts.join("\n- ");
}

事實條目多了之後,別再全量注入——把記憶條目存進向量庫,按當前問題檢索 topK 相關條目再注入。這就接回了 518 的 RAG 管線,只是「文檔」換成了「互動經驗」。架構不變,素材換血。

六、三條記憶紀律

  • 寫入要節制:不是什麼都值得記。一次對話抽 0~3 條就夠;垃圾記憶一旦寫入,會污染之後每一次回覆,比沒有記憶更糟
  • 要可遺忘:提供「忘記這條」的刪除入口,涉及隱私的條目到期清理——這既是產品體驗,也是合規底線
  • 注入要控量:長期記憶全文塞系統提示,很快就吃掉視窗;檢索式注入才是終局方案

七、寫在最後

記憶管理的本質,是用工程手段在「無限對話」和「有限視窗」之間做取捨:滑動視窗控成本,摘要壓縮保脈絡,長期記憶存偏好。三招疊上去,你的應用就從「每次都是陌生人」變成「越用越懂你」——這正是用戶留下來的理由。

互動話題:你手上的 AI 應用,最該記住用戶的哪三件事?留言聊聊,我幫你看看哪些值得進長期記憶。