過去幾篇大模型應用系列,我們學會了把模型接進應用、餵私有知識庫、給它工具、組建多 Agent 團隊,也打磨了提示詞。但真正讓團隊敢按下「上線」按鈕的那一步,還沒講——Agent 的輸出是不確定的,傳統單元測試在這裡幾乎失效。這一篇就來補上最後一塊拼圖:怎麼給 AI 應用「考試」與「除錯」。
一、為什麼傳統單元測試對 LLM 失效
傳統測試的公式是:固定輸入 → 確定輸出 → assert 相等。但 LLM 打破了一切:
- 同一個問題,今天和明天問,措辭可能不同,但都對;
- 自然語言沒有唯一正解,「相等」根本無從斷言;
- Agent 還會自己決定呼叫哪些工具,執行路徑不固定。
所以我們評的不是「相等」,而是「特質」:準不準、有沒有編造、格式合不合规、該拒答時有沒有拒答。常見三種評估法:精確匹配(適合分類、抽取)、規則校驗(長度、正則、JSON 能否解析)、語義評估(請另一個 LLM 當評審,即 LLM-as-Judge)。
二、實戰:搭一套最小評估系統
步驟 1:寫測試集。把真實用例整理成表格,每行包含「輸入、期望特質、類型」。先從線上真實留言裡挑 20~50 條,貴精不貴多:
// cases.json — 測試集
[
{ "q": "把這段留言分類:服務超好", "expect": "正面" },
{ "q": "幫我把 1000 美元換算成台幣", "expect": "需呼叫匯率工具" },
{ "q": "你們公司的退貨政策是什麼", "expect": "允許拒答或查知識庫" }
]
步驟 2:寫批次跑分 runner。用 Node/TS 幾十行就能跑起來:
// eval.ts — 最小評估 runner
import { runAgent } from "./agent";
import cases from "./cases.json";
const judge = async (q: string, a: string) => {
const res = await callLLM({
temperature: 0, // 評審務必關閉隨機性
messages: [
{ role: "system", content: "你是嚴格評審,只輸出 JSON: {score: 1-5, reason}" },
{ role: "user", content: "問題:" + q + "回答:" + a }
]
});
return JSON.parse(res);
};
let pass = 0;
for (const c of cases) {
const answer = await runAgent(c.q);
const { score, reason } = await judge(c.q, answer);
if (score >= 4) pass++;
console.log(score >= 4 ? "PASS" : "FAIL", c.q, reason);
}
console.log("通過率:", pass / cases.length);
步驟 3:讀懂分數。通過率是你改動前後的「回歸基準」。每次改 Prompt、換模型、調工具描述,先跑一遍測試集,分數不降才合併——把 Prompt 當程式碼管理。
三、上線後的除錯:Tracing 與回放
測試集告訴你「錯了」,但沒告訴你「為什麼錯」。這時需要追蹤(Tracing):把 Agent 每一步的輸入輸出都記下來——
- 模型收到完整 Prompt 是什麼(常見坑:上下文被截斷);
- 工具呼叫的參數對不對(常見坑:日期格式、單位換算);
- 檢索命中的文件是哪幾條、相似度多少(RAG 錯就先看這裡)。
特別注意:除錯的黃金流程是「失敗案例回放」——把線上每個失敗樣本加回測試集,讓測試集越養越肥,回歸測試就是你的保險絲。另外可做「消融實驗」:臨時拿掉某段 Prompt 或某個工具再跑分,分數掉多少,誰拖後腿就一目了然。
四、三條上線紀律
- 評估進 CI:改 Prompt 必跑測試集,像改程式碼一樣走合併流程;
- 線上抽樣監控:每天隨機抽 1~2% 對話人工複核,負面詞觸發告警;
- 校準「不知道」:寧可拒答不可編造,拒答正確率也要當指標看。
大模型應用系列到此,從接模型、餵知識、給工具、組團隊、寫 Prompt 到評估上線,六塊積木都齊了。剩下的,就是在真實業務裡反覆迭代。
互動話題:你上線 AI 功能時踩過最深的坑是什麼?是幻覺、工具亂呼叫,還是成本爆炸?留言聊聊。