一、你的 Agent 不是失憶,是從來沒有記憶
如果你已經照著本站前幾篇把大模型接進應用(511 接模型、520 給工具),大概率遇過這個場景:用戶第三句話問「我剛剛說的預算是多少?」,模型一臉茫然,彷彿前面兩句從沒發生過。
先建立一個關鍵認知:LLM API 是無狀態的。每次請求,模型都是「第一次見到你」。它之所以看起來記得上一句,是因為你的後端把歷史 messages 原樣重發了一遍。所謂「對話記憶」,是應用層用 messages 陣列假裝出來的。
重點:記憶不是模型自帶的,是應用層用 messages 陣列「假裝」出來的。所以記憶管理本質上只有兩道題:第一,上下文視窗塞不下無限歷史,怎麼取捨?第二,跨會話該記住的東西,存哪裡、什麼時候注入?
二、先把問題拆開:三層記憶架構
一上來就做「AI 長期記憶系統」很容易過度設計。實務上把記憶拆成三層,每層問題不同:
- 工作記憶:當前這一輪 Agent 迴圈裡的工具呼叫中間結果,用完即棄,不用持久化
- 短期記憶:本會話的對話歷史,受上下文視窗約束,核心動作是「取捨與壓縮」
- 長期記憶:跨會話的用戶偏好與事實,核心動作是「持久化 + 檢索注入」
注意它與 RAG(518)的分工:RAG 餵的是「你的文檔與知識庫」,而記憶層記的是「用戶和你的應用之間發生過什麼」。兩者共用向量檢索技術,但素材完全不同。
三、步驟 1:滑動視窗——最簡單的短期記憶
第一招最便宜:保留系統提示常駐,只保留最近 N 輪對話,其餘直接丟棄。
function trimHistory(messages, maxTurns = 10) {
const system = messages.filter(m => m.role === "system");
const rest = messages.filter(m => m.role !== "system");
// 一輪 = user + assistant 兩條
const recent = rest.slice(-maxTurns * 2);
return [...system, ...recent];
}
重點:系統提示永遠保留,只砍中間歷史,絕不能砍掉 user 的最後一句——那是要回答的問題。
滑動視窗的坑也很直白:前面說過的關鍵約定(預算、規格、偏好)會被硬砍掉。所以需要第二招補位。
四、步驟 2:摘要壓縮——把舊對話濃縮成一段
當歷史超過閾值(比如 20 輪,或粗估 token 快到上限),先發一次「摘要請求」,把舊對話濃縮成一段文字,替代原始歷史塞回 messages:
async function compressHistory(messages) {
const KEEP = 6; // 最近 3 輪保留原文
const old = messages.filter(m => m.role !== "system").slice(0, -KEEP);
const summary = await callLLM([
{ role: "system", content:
"請把以下對話濃縮成要點摘要。必須保留:所有數字、已達成的約定、未完成事項。" },
{ role: "user", content: JSON.stringify(old) }
]);
return [
...messages.filter(m => m.role === "system"),
{ role: "system", content: "以下是稍早對話的摘要:" + summary },
...messages.filter(m => m.role !== "system").slice(-KEEP)
];
}
重點:摘要指令必須明確要求保留「數字、承諾、未完成事項」,否則模型摘要時會把最關鍵的細節當雜訊丟掉。
成本上這招完全划算:摘要用便宜的小模型跑一次,換來之後每一輪請求都少帶幾千 token。
五、步驟 3:長期記憶——把偏好存下來,開場注入
跨會話記憶的思路:對話告一段落時,用一次 LLM 呼叫從對話中抽取「值得長期記住的事實」,存成 JSON 檔;下次會話開場,把它們併進系統提示。
// memory.json 示例:
// { "facts": ["用戶偏好多語言介面", "專案技術棧是 Vue3 + Vben"] }
async function extractMemory(messages) {
const res = await callLLM([
{ role: "system", content:
"從對話中提取值得長期記住的用戶偏好與事實," +
"以 JSON 字串陣列輸出;沒有就輸出 []" },
{ role: "user", content: JSON.stringify(messages) }
]);
const facts = JSON.parse(res);
memory.facts.push(...facts);
fs.writeFileSync("memory.json", JSON.stringify(memory, null, 2));
}
function loadMemoryIntoSystem(memory) {
return "你已知道的用戶背景:\n- " + memory.facts.join("\n- ");
}
事實條目多了之後,別再全量注入——把記憶條目存進向量庫,按當前問題檢索 topK 相關條目再注入。這就接回了 518 的 RAG 管線,只是「文檔」換成了「互動經驗」。架構不變,素材換血。
六、三條記憶紀律
- 寫入要節制:不是什麼都值得記。一次對話抽 0~3 條就夠;垃圾記憶一旦寫入,會污染之後每一次回覆,比沒有記憶更糟
- 要可遺忘:提供「忘記這條」的刪除入口,涉及隱私的條目到期清理——這既是產品體驗,也是合規底線
- 注入要控量:長期記憶全文塞系統提示,很快就吃掉視窗;檢索式注入才是終局方案
七、寫在最後
記憶管理的本質,是用工程手段在「無限對話」和「有限視窗」之間做取捨:滑動視窗控成本,摘要壓縮保脈絡,長期記憶存偏好。三招疊上去,你的應用就從「每次都是陌生人」變成「越用越懂你」——這正是用戶留下來的理由。
互動話題:你手上的 AI 應用,最該記住用戶的哪三件事?留言聊聊,我幫你看看哪些值得進長期記憶。